John Qualen grandit aux États-Unis et se découvre une vocation d'acteur durant ses années universitaires. Il joue d'abord au théâtre, à Broadway, dans deux pièces d'
Elmer Rice, Street Scene (1929-1930) et Counsellor at Law (1931-1933, avec
Paul Muni). Ces deux pièces seront adaptées au cinéma, sous les mêmes titres, respectivement en 1931 et 1933, et dans chacune de ces adaptations, John Qualen reprendra son rôle initial.
C'est d'ailleurs dans Street Scene qu'il débute au cinéma, donc en 1931. La même année, il participe à un film de John Ford, qu'il retrouvera à plusieurs reprises, ainsi que
John Wayne. Du fait de ses origines norvégiennes, il interprétera souvent des scandinaves au long de sa carrière, riche d'environ 130 films (le dernier en 1973). Notons encore qu'il aura comme partenaires
Simone Simon dans L'Heure suprême (1937) et
Tous les biens de la terre (1941), et
Jean Gabin dans L'Imposteur (1944).
À partir de 1951 et jusqu'en 1974, il se produit à la télévision (téléfilms, séries), notamment dans trois épisodes (en 1956) d'Alfred Hitchcock présente, et deux épisodes (1958-1961) de Maverick.
Il est parfois crédité "John M. Qualen" ou "John T. Qualen".