Auch für den deutschen Nachkriegsfilm stand der Schauspieler ab Ende der 1940er Jahre wieder vor der Kamera, so sah man ihn unter anderem 1947 als Peter Keyser in einer Episode von Helmut Käutners "In jenen Tagen"¹⁾, als Kriegsheimkehrer Beckmann überzeugte er in Liebeneiners Borchert-Adaption "Liebe 47" (1948), als Nazi Hösch in dem Drama "Der Verlorene"¹⁾ (1951) von und mit Peter Lorre. Als Inspektor Kleiber trat John in Carol Reeds Thriller "The Man Between" (1953, Gefährlicher Urlaub) und als Betriebsleiter Schulz in Victor Vicas' Flucht-Drama "Weg ohne Umkehr" (1953) in Erscheinung. Unvergessen bleibt vor allem 1955 seine Verkörperung des Ingenieurs Karl Oderbruch in Helmut Käutners Zuckmayer-Verfilmung "Des Teufels General"¹⁾ an der Seite von Curd Jürgens. In Frank Wisbars Stalingrad-Drama "Hunde, wollt ihr ewig leben"¹⁾ mimte er 1959 den Generaloberst Hoth, in Alfred Weidenmann Heimatfilm "An heiligen Wassern"¹⁾ (1960) den Seppi Blatter , Vater des jungen Roman (Hansjörg Felmy).
Zu Johns Leinwandauftritten bis Ende der 1960er Jahre zählen unter anderem Frank Wisbars "Fabrik der Offiziere" (1960) nach dem gleichnamigen Roman von Hans Hellmut Kirst, die Simmel-Verfilmung "Diesmal muß es Kaviar sein"¹⁾ (1961)", die hochkarätig besetzte US-Amerikanische Produktion "Der längste Tag" (1962, The Longest Day) sowie die Wallace-Streifen "Der Hexer"¹⁾ (1964) und "Neues vom Hexer"¹⁾ (1965). 1974 hatte John eine Rolle in Adrian Hovens Drama "Pusteblume" und 1977 in William Friedkins Thriller "Atemlos vor Angst" (Sorcerer/The Wages of Fear). Die Fernsehzuschauer erlebten Karl John neben Auftritten in so beliebten Krimi-Reihen wie "Die Fünfte Kolonne", "Der Kommissar", "Derrick" oder "Kriminalmuseum" beispielsweise als Bill Drews in "Die Flucht nach Holland" oder als angeblich ertrunkener Hohmann in dem spannenden Mehrteiler "Babeck"⁴⁾ (1968).
 
Seinen schauspielerischen Schwerpunkt verlegte Karl John seit Kriegsende jedoch vornehmlich auf die Theaterbühne, insbesondere in Hamburg am "Deutschen Schauspielhaus" und am "Thalia-Theater". Zu seinen bekanntesten Bühnenrollen gehörten der Wetter vom Strahl in Kleists "Das Kätchen von Heilbronn" und der Kleist'sche "Prinz von Homburg" sowie der Mackie Messer in Brechts "Die Dreigroschenoper". Hatte John in seinen frühen Jahren vor allem als jugendlicher Held geglänzt, etablierte er sich später fest im Charakterfach. Man sah Karl John – vielfach auf Tourneen – unter anderem in Komödien wie "Die kleine Hütte" von André Roussin, "Mein Name ist Hase" von Willy Honauer/Peter Lodynski oder "Die Liebe der vier Obersten" von Peter Ustinov. John brillierte unter anderem in dem Kriminalstück "Lockende Tiefe" von Terence Rattigan, ebenso wie in dem Shakespeare-Lustspiel "Viel Lärm um nichts". Besonders profilierte er sich bei den Bad Hersfelder Festspielen, wo er u.a. mit der Titelrolle des Marat in dem Schauspiel "Die Verfolgung und Ermordung Jean Paul Marats" von Peter Weiß in nachhaltiger Erinnerung geblieben ist.
Neben seiner Arbeit für das Theater, Film und Fernsehen machte sich Karl John auch einen Namen als Chansonsänger vor allem mit Seemannsliedern, die er meist selbst vertonte. So trat er beispielsweise auch in Münchens berühmtem Nachkriegskabarett "Schaubude" auf. Er schrieb zudem den Text zu dem Hans-Albers-Song "Einmal noch nach Bombay".
Auch in einer ganzen Reihe von Hörspielen war er als Sprecher im Einsatz. Zu seinen bekanntesten Rollen gehörte 1959 die Darstellung des Londoner Schriftstellers und Privatdetektivs Paul Temple in der achtteiligen Produktion "Paul Temple und der Conrad-Fall" von Francis Durbridge, in der Willy Purucker die Regie führte.⁴⁾
  
Karl John starb am 22. Dezember 1977 im Alter von 72 Jahren in Gütersloh während einer Tournee des Stückes "Mond über dem Fluss" von Pavel Kohout.
Seine letzte Ruhestätte fand er auf dem Friedhof Heerstraße im Berliner Stadtteil Charlottenburg.