Das israelische Sinfonieorchester wurde 1936 als "Palestine Symphony Orchestra" von Bronislaw Huberman gegründet. Es bestand aus 75 jüdischen Musikern aus Osteuropa, die in das unter dem Mandat Großbritanniens stehende Palästina gekommen waren. Das erste Konzert fand im selben Jahr unter der Leitung von Arturo Toscanini statt. Mit der Gründung des Staates Israel änderte sich der Name des Orchesters in "Israel Philharmonic Orchestra".
Zubin Mehta wurde 1968 zum ersten Chefdirigenten, 1977 zum Musikdirektor ernannt. Spielstätte des Orchesters ist das Mann-Auditorium in Tel Aviv.