Nachdem seine ersten Frau Emily 1950 an Krebs gestorben war, zog sich Zimbalist für einige Zeit von der Schauspielerei zurück und lebte mit seinen beiden kleinen Kindern, Efrem Zimbalist III und Nancy Zimbalist, in Philadelphia. Hier nahm er eine Assistentenstelle am "Curtis Institute of Music" an, wo sein Vater Direktor war.
1954 jedoch entschloss er sich, seinen eingeschlagenen Weg als Schauspieler fortzusetzen und nahm eine Rolle in der Serie "Concerning Miss Marlowe" an. Kurze Zeit später heiratete er Stephanie Spaulding, mit der er die gemeinsame Tochter Stephanie, heute ebenfalls eine bekannte Schauspielerin, hat. Auf Drängen seines Freundes Joshua Logan machte er Probeaufnahmen bei Warner Brothers und erhielt einen Siebenjahres- Vertrag. Seinen ersten Kinofilm "Bombers B-52" (1957) drehte er mit Natalie Wood als Partnerin. In den folgenden Jahren spielte er in einigen weiteren Filmen mit, der Erfolg als Leinwanddarsteller wollte sich jedoch nicht so recht einstellen.

Den Durchbruch als beliebter Schauspieler erlangte er dann beim Fernsehen: Zwischen 1958 und 1964 wurde er weltweit berühmt als freundlicher Privatdetektiv Stuart Bailey in der wöchentlichen TV-Serie "77 Sunset Strip"²⁾. Für Zimbalist war dies der Beginn einer weiteren langjährigen Serienfigur: Er erhielt ab 1965 die Rolle des FBI-Ermittlers Lewis Erskine in der Serie "The F.B.I"²⁾; hier ermittelt er in allem, wofür das FBI zuständig zeichnet, Entführung, Geldfälscherei, Spionage oder das organisierte Verbrechen. Die Fälle von Lewis Erskine basierten auf wahren Unterlagen der Polizei und die Produzenten der Serie erhielten sogar Unterstützung von offizieller Seite, dem allmächtigen Chef des FBI James Edgar Hoover. Auch diese Serie war überaus erfolgreich und lief neun Jahre lang. Spätere TV-Rollen von Zimbalist waren beispielsweise 1986 die des Charles Cabot in einigen Folgen von "Hotel", der Don Alejandro de la Vega in "Zorro" (1990 bis 1992) sowie die Rolle des Daniel Chalmers in der Serie "Remington Steele"¹⁾ (1982 bis 1987).