Issu d'un milieu modeste, le jeune Grémillon doit d'abord imposer à son père son désir de faire des études musicales. En 1920, il vient à Paris suivre les cours de la Schola Cantorum, notamment ceux de Vincent d'Indy.Il se lie à l'avant-garde musicale et théâtrale des années 1920 et découvre le cinéma comme pianiste de salle en accompagnant des films muets. Jean Grémillon accepte ensuite des commandes de courts-métrages liés au monde du travail. Il tourne son premier long-métrage dès la fin du muet,
Maldone sous l'oeil bienveillant de
Charles Dullin. Mais la version écourtée qui est commercialisée rencontre un succès médiocre.
Gardiens de phare, produit par
Jacques Feyder en 1929, est un succès qui l'amène à rencontrer
Charles Spaak, avec lequel il réalise La Petite Lise, qui provoque leur renvoi immédiat de chez Pathé-Natan. La sortie du film sera délibérément sabotée.
En 1937, il fait tourner
Jean Gabin dans Gueule d'amour et l'année d'après
Raimu dans L'Étrange Monsieur Victor, deux films qui lui assurent la consécration artistique et populaire. Durant l'occupation, il réalise Lumière d'été avec
Pierre Brasseur et Le ciel est à vous avec
Madeleine Renaud et
Charles Vanel. Après la Libération, il se lance dans plusieurs projets de films historiques à visées révolutionnaires sur la Commune de Paris , la Guerre d'Espagne etc., dont aucun ne verra le jour. Il sera lâché en cours de route par les producteurs.
Après quatre ans passés sans tourner, il réalise
Pattes blanches, qui déroute la critique et le public, ce qui le ramène à un manque de moyens. Il réalise ensuite L'Étrange Madame X, puis plusieurs courts-métrages, et L'Amour d'une femme avec
Micheline Presle. Après quelques documentaires, dont un film sur le peintre André Masson, Jean Grémillon s'éteint prématurément le 25 novembre 1959.
Sept ou huit des longs-métrages de Grémillon ont longtemps été considérés comme perdus. Toutefois, tous ont été finalement retrouvés et restaurés à partir du milieu des années 1970.
Le collège de Saint-Clair-sur-l'Elle, dans la Manche, porte son nom.
