Sein Filmdebüt gab Matthau 1955 als Bösewicht in dem von Burt Lancaster inszenierten Western "Der Mann aus Kentucky" (The Kentuckian). Aber er spielte auch etwas differenzierteren Figuren wie den Mel Miller in Elia Kazans Gesellschaftssatire "Das Gesicht in der Menge" (1957, A Face in the Crowd), Rollen, die ihn allmählich zum Star machten. Den richtigen Kick erhielt seine Karriere aber erst, als der bekannte Bühnenautor Neil Simon ihm eine Rolle extra auf den Leib schrieb, in der Komödie "Ein seltsames Paar" spielte Matthau bereits 1965 an der Seite von Jack Lemmon am Broadway, bevor 1967 der gleichnamige Film entstand.
Als Matthau bereits 45 Jahre alt war, legte Billy Wilder, der so viele Talente gesucht und gefunden hat, die komische Begabung des Mannes mit dem Charakterkopf frei und gleich seine erste Starrolle als schmieriger Winkeladvokat Willy Gingrich in "Der Glückspilz"¹⁾ (1965, The Fortune Cookie²⁾) brachte ihm einen Oskar als "Bester Nebendarsteller" ein – und auch auf der Leinwand begann eine kongeniale Zusammenarbeit mit Jack Lemmon. Mit der Verfilmung von "Ein seltsames Paar"¹⁾ (1967, The Odd Couple²⁾) war der Durchbruch dann endgültig geschafft: Oscar Madison, der Bier trinkende, Poker spielende Sportreporter im Film wurde Matthaus "Alter Ego". Die schnurrige, skurrile Männer-WG war so erfolgreich, dass sie in den Sechziger- und Siebziger Jahren ihre Fortsetzung in einer gleichnamigen Fernsehserie fand.
Von da an lief das Telefon bei Matthau heiß und er konnte sich vor Angeboten kaum retten. Jack Lemmon wurde für ihn zu einem wahren Freund und die beiden sollten in Zukunft noch häufig zusammen auf der Leinwand erscheinen. Matthau gehörte fortan gemeinsam mit Jack Lemmon, zu Billy Wilders bevorzugten Komödiendarstellern. In den nachfolgenden Jahren drehte das Gespann Kassenschlager wie "Extrablatt"¹⁾ (1974, The Front Page²⁾) und "Buddy, Buddy"¹⁾ (1981, Buddy Buddy²⁾), in den 90ern ließ das gegensätzliche Gespann mit "Ein verrücktes Paar – Alt, verkracht und frisch verliebt"¹⁾ (1993, Grumpy Old Men²⁾), "Ein verrücktes Paar – Der dritte Frühling"¹⁾ (1995, Grumpier Old Men²⁾) und "Immer noch ein seltsames Paar"²⁾ (1998, The Odd Couple II) die irrwitzige Männerfreundschaft wieder aufleben. Ein herrlicher Spaß war auch die turbulente Komödie "Tango gefällig?"²⁾ (1997, Out to Sea) mit Lemmon und Matthau als spätberufene Gigolos. Matthaus Knautschgesicht und sein Schmuddel-Image passten hervorragend zu Lemmons überdrehtem, auf Korrektheit bedachten Charakter.
 
Doch auch solo konnte Matthau immer wieder, meist in Komödien, überzeugen und war Garant für vergnügliche Kinostunden. Filme wie "Leitfaden für Seitensprünge" (1966, A Guide for the Married Man), "Die Kaktusblüte"¹⁾ (1969, Cactus Flower²⁾), "Keiner killt so schlecht wie ich"¹⁾ (1970, A New Leaf), "Hotelgeflüster" (1970, Plaza Suite), "Opa kann's nicht lassen" (1971, (Kotch; Regie: Jack Lemmon), "Die Bären sind los"¹⁾ (1976, Bad News Bears²⁾), "Der Champion"¹⁾ (1977, Casey's Shadow) und "Das verrückte California Hotel"²⁾ (1978, California Suite) zeigen den Schauspieler in der Rolle des liebenswerten Alltags-Chaoten und machten ihn zu einem der gewinnbringendsten Stars der 60er und 70er Jahre. Ganz entgegen seinem sonst so beliebten Film-Image agierte er zusammen mit Henry Fonda in dem Thriller "Angriffsziel Moskau"²⁾ (1964, Fail-Safe) und in "Die 27. Etage"²⁾ (1965, Mirage), prägnante Nebenfiguren mimte er beispielsweise in dem Melodram "Fremde, wenn wir uns begegnen"²⁾ (1960, Strangers When We Meet) an der Seite von Kirk Douglas und Kim Novak und in der Krimikomödie "Charade"²⁾ (1963) neben Cary Grant und Audrey Hepburn.
Dass Matthau auch im Musical eine gute Figur zu machen wusste, hatte er 1969 unter der Regie von Gene Kelly als millionenschwerer, griesgrämiger und geiziger Horace Vandergelder in "Hello Dolly!"²⁾ an der Seite von Barbra Streisand bewiesen. Bei Matthaus zahlreichen komischen Rollen werden seine Parts in Streifen anderen Genres leicht vergessen, beispielsweise glänzte er als berechnender Verbrecher mit Herz in Don Siegels packendem Gangsterfilm "Der große Coup"¹⁾ (1970, Charley Varrick) , in dem Thriller "Massenmord in San Francisco"¹⁾ (1973, The Laughing Policeman) mimte er einen mürrischen, versierten Beamten der Mordkommission, der Actionthriller "Stoppt die Todesfahrt der U-Bahn 123"¹⁾ (1974, The Taking Of Pelham One Two Three²⁾) zeigt den Mimen als Lieutenant Garber, der vier Gangstern den Kampf angesagt hat.
In den 80er Jahren bekam Matthau eine Zeit lang immer seltener geeignete Stoffe angeboten und wirkte bis auf wenige Ausnahmen nur noch in mäßig witzigen Komödien wie "Die Überlebenskünstler" (1983, The Survivors) mit. Sehenswert ist beispielsweise der Spionagefilm "Agentenpoker"¹⁾ (1980, Hopscotch), brillant seine Figur des gefürchteten Freibeuters Captain Red in Roman Polanskis witzigem Abenteuer "Piraten"²⁾ (1986, Pirates). Obwohl der Streifen an den Kinokassen kein großer Erfolg wurde, ist der opulent ausgestattete Streifen dennoch, nicht zuletzt durch Matthaus säbelrasselnden Piratenkapitän – mit Holzbein, Goldschmuck und übertriebener Kleidung, – ein Riesenspaß.
In den 90er Jahren ging es dann dank der Neuauflage des "verrückten Paares" wieder aufwärts und das Gespann lief mit den Altersrollen zur Hochform auf. Glänzend auch Matthaus Verkörperung des zerstreuten und liebenswerten Atomphysikers Albert Einstein in der Liebeskomödie "I.Q. – Liebe ist relativ" (1994, I.Q.²⁾ sowie unter der Regie seines Sohnes Charles die Hauptrolle in "Papas zweiter Frühling" (1998, The Marriage Fool). In "Aufgelegt"²⁾ (2000, Hanging Up), seinem letzten in Deutschland gezeigten Film, starb Matthau einen vergnüglichen Leinwandtod und hinterließ drei unterschiedlich trauernde Töchter.