Der US-amerikanische Pianist und Komponist russischer Herkunft studierte Klavier und Komposition am Sankt Petersburger Konservatorium bei Alexander Glasunow. Ornstein emigrierte 1906 nach New York, wo er am Vorläufer der Juilliard School studierte.
Anfang der 1930er Jahre gründete er die Ornstein School of Music, die er bis 1953 leitete.