Sarsgaard est né à la base aérienne de Scott, où son père travaillait comme ingénieur de la Force aérienne. Sa famille a déménagé plus de douze fois durant son enfance, en raison du travail de son père. Il a eu une éducation catholique, et a été enfant de choeurs. Il a étudié a la Fairfield College Preparatory School, une école jésuite du Connecticut.
À l'âge de sept ans, Sarsgaard voulait devenir un joueur de football, a pris des cours de ballet afin d'améliorer sa coordination. Après s'être blessé plusieurs fois en jouant au football, il abandonna le sport et s'intéressa à l'écriture et au théâtre.
Après l'obtention de son diplôme, il fait ses études au Bard College, à New York, pendant deux ans, avant de s'inscrire, en 1991 à l'Université Washington à Saint Louis, où il a co-fondé une troupe de comédie d'improvisation appelée "Mama's Roast Pot." En 1993, il a obtenu un diplôme en histoire et a déménagé à New York.
Depuis 2002, Sarsgaard entretient une relation avec l'actrice
Maggie Gyllenhaal, soeur de son ami
Jake Gyllenhaal. Le couple a une fille, Ramona, née le 3 octobre 2006. Le 2 mai 2009, ils se marient à Brindisi en Italie. La famille réside à Brooklyn, New York.
Sarsgaard débute sa carrière dans des productions télévisuelles filmées à New York, comme New York police judiciaire en 1995 et New York Undercover (1997). Il a obtenu un rôle dans le film de 1998 L'Homme au masque de fer, où il incarne Raoul, le fils de
John Malkovich. Le film reçoit des critiques mitigées, mais est un succès au box-office, avec 182 millions $ de recette dans le monde. 2003 marque un tournant dans la carrière de Sarsgaard, en effet il est au casting du film Le Mystificateur, il est nommé pour sa performance aux Golden Globes. En 2005, il décroche le second rôle du suspense
La Porte des secrets. Il participe aussi au tournage de
Flight Plan, aux côtés de
Sean Bean et de
Jodie Foster. Il joue dans Jarhead, dont la date de sortie est prévue la même année, face à
Jake Gyllenhaal. En 2007, on a pu l'apercevoir interpréter des seconds rôles, tels que celui dans Détention secrète. En 2009, il joue un acteur alcoolique Dans la brume électrique de
Bertrand Tavernier, tourné en Louisiane, et dans le film de la réalisatrice danoise
Lone Scherfig,
An Education. Sarsgaard a dû pour ce rôle prendre un accent britannique. Il a joué il y a peu dans le film psychologique Esther de Jaume Collet-Serra, dans le lequel il interprète le père de la jeune orpheline aux airs sages qui cache en réalité de sombres secrets.