Après des études d'architecture à Cambridge, il se dirige vers le théâtre. Il rejoint dès 1931 le Old Vic Company, une troupe sous la direction de Sir Tyrone Guthrie. Sa première tentative au cinéma est un échec quand, en 1934, il est renvoyé du plateau de tournage d'un film réalisé par Alexander Korda. C'est lors d'un cocktail qu'il rencontre Albert Parker, réalisateur américain qui deviendra un grand ami. Dès 1935, leur première collaboration, Late Extra, remporte un vif succès auprès du public britannique. De 1935 à 1947, Mason parvient à démontrer son véritable talent d'acteur dans des films tels que L'Homme en gris (The Man in Grey), L'Homme fatal (Fanny by Gaslight) ou encore Le Septième Voile (The Seventh Veil).
En 1947, James Mason remporte son premier grand succès international avec le film
Huit heures de sursis (Odd Man Out) de Carol Reed. Dans ce film, Mason interprète Johnny McQueen, le chef d'une organisation irlandaise clandestine qui, après avoir été blessé à la suite d'un hold-up raté, disparaît, errant dans les rues de Belfast alors qu'il est recherché par la police. C'est d'ailleurs le film préféré de Mason qui avouera lui-même dans une interview que c'est sa meilleure interprétation cinématographique.
Suite aux accrocs avec le président de la firme cinématographique Rank (qu'il traitait de vendeur de farine) et des démêlés avec la justice (un procès eut lieu en 1947), il quitte le Royaume-Uni pour les États-Unis où il reste deux ans sans tourner (le procès lui interdisant de travailler dans le domaine cinématographique). C'est donc en 1949 que Mason tourne son premier film américain
Pris au piège (Caught) de Max Ophüls. Sa période hollywoodienne le propulse au rang de vedette internationale du grand écran avec des films comme Le Prisonnier de Zenda (The Prisoner of Zenda),
Pandora (Pandora and the Flying Dutchman), Le Renard du désert (The Desert Fox), Jules César (Julius Caesar), Vingt Mille Lieues sous les mers (20,000 Leagues Under the Sea) ou encore Une étoile est née (A Star is Born) qui lui vaudra sa première nomination aux Oscars.
En 1956, Mason entreprend sa première production avec le film Derrière le miroir (Bigger Than Life) de Nicholas Ray. Malheureusement, le film est un échec commercial en Amérique du Nord (ce qui n'est toutefois pas le cas en Europe, où il remporte un vif succès). Néanmoins, James Mason met vite un terme à cette tentative et tourne dans de grandes productions américaines telles que La Mort aux trousses (North By Northwest) d'Alfred Hitchcock ou encore Voyage au centre de la Terre (Journey to the Center of the Earth).
En 1962, Mason tourne, sous la direction de Stanley Kubrick,
Lolita qui lui vaut une deuxième nomination aux Oscars. Le film, qui raconte l'histoire d'un écrivain s'amourachant d'une jeune fille de 17 ans, est tourné au Royaume-Uni, ce qui permet à Mason de se rapprocher de ses racines britanniques. En 1967, il quitte définitivement Hollywood pour son pays natal, où il renoue avec son public britannique avec des films comme Georgy Girl, Great Expectations, Mandingo ou encore
Croix de fer (Cross of Iron).
Avec
Le Verdict (The Verdict) de Sidney Lumet, James Mason obtint en 1982 une troisième et dernière nomination aux Oscars, pour le meilleur acteur dans un second rôle. De ses derniers films, on peut retenir La Partie de chasse (The Shooting Party) dans lequel il interprète un aristocrate britannique vieillissant.
Décédé d'une crise cardiaque en 1984, et situé à 3 tombes (sur la gauche) de celle de
Charles Chaplin, James Neville Mason repose désormais dans le petit cimetière de Corsier-sur-Vevey, en Suisse.