1924 ging Gilbert dann zu MGM und stieg wenig später mit Liebhaberrollen an der Seite der Hollywood-Diven zum Idol der stummen Leinwand auf. Mit Norma Shearer beispielsweise drehte er "He Who Gets Slapped" (1924, Der Mann, den man ohrfeigt…) und "The Snob" (1924, Der Mann ohne Charakter). 1925 mimte er den Prinzen Danilo in Erich von Stroheims dekadentem Film "The Merry Widow"¹⁾ (Die lustige Witwe), einen durchschlagenden Erfolg konnte er auch mit der Rolle des James Apperson in King Vidors Antikriegsfilm "The Big Parade"¹⁾ (1925, Die Parade des Todes) erzielen. Mit Lillian Gish als Partnerin erlebte man ihn als "Rodolphe "in King Vidors "La Boheme" (1926, Das Hohelied der Liebe), mit "Flesh and the Devil"¹⁾ (1926, Es war) folgte ein weiterer Kassenschlager – keine geringere als Greta Garbo war seine Partnerin in diesem Melodram. Mit der Garbo stand Gilbert auch für den stummen Streifen "Anna Karenina"¹⁾ (1927, auch: Love) von Edmund Goulding und den Tonfilm "A Woman of Affairs"¹⁾ (1927, Eine Schamlose Frau) von Regisseur Clarence Brown vor der Kamera; Gilbert und die Garbo sollen sich auch privat nahe gestanden haben. Zuvor hatte er mit Joan Crawford die stummen Dramen "Twelve Miles Out"¹⁾ (1927) und "Four Walls"¹⁾ (1928) abgedreht.

Den Übergang zum Tonfilm schaffte der Star zwar relativ problemlos, dennoch begann sein Stern zu sinken, da sein Typus des romantischen Liebhabers auf der Leinwand nicht mehr ganz so gefragt war. Er drehte nur noch wenige Filme, zu den bekanntesten zählt Rouben Mamoulians sentimental-pathetischesBiopic "Queen Christina" (1933, Königin Christine) und seine Figur des Don Antonio de la Prada, erneut an der Seite von Greta Garbo in der Titelrolle der Christina von Schweden¹⁾. Letztmalig erschien Gilbert in dem Streifen "The Captain Hates the Sea" (1934) auf der Leinwand.
 
John Gilbert starb am 19. Januar 1936 mit nur 38 Jahren in Los Angeles an einem Herzinfarkt. In der Presse wurde damals berichtet, dass Gilberts Alkoholkonsum an dem frühen Tod nicht ganz unschuldig gewesen sein dürfte.
Alle vier Ehen Gilberts endeten vor dem Scheidungsrichter, zwischen 1917 und 1922 war er mit Olivia Burwell verheiratet, wenig später folgte die Ehe mit dem Stummfilmstar Leatrice Joy¹⁾ (1893 – 1985), die trotz der am 22. September 1924 geborenen gemeinsamen Tochter Leatrice nur zwei Jahre hielt; Tochter Leatrice Gilbert Fountain veröffentlichte Mitte der 80er Jahre eine Biografie über ihren Vater mit dem Titel "Dark Star: The Untold Story Of The Meteoric Rise And Fall Of The Legendary John Gilbert". Anfang Mai 1929 ehelichte der Leinwandliebhaber die Schauspielerin Ina Claire¹⁾ (1893 – 1985), 1931 erfolgte die offizielle Trennung. Seine 1932 geschlossene letzte Ehe mit dem Filmstar Virginia Bruce¹⁾ (1910 – 1982) zerbrach nach zwei Jahren.