Quand il quitte Athènes pour venir à Paris, il débute par une licence de littérature, puis il entre à l'Institut des Hautes Etudes Cinématographiques (IDHEC) et travaille comme assistant pour
Henri Verneuil,
Jacques Demy et René Clément.
Le film Le Jour et l'Heure, pour lequel il travaille comme assistant, lui permet de rencontrer
Simone Signoret et
Yves Montand, avec lesquels il deviendra très ami. Découvrant le livre Compartiment tueurs de Sébastien Japrisot, il en fit le scénario et réussit à y intéresser le producteur Julien Derode ; le film eut du succès en France et même aux États-Unis, où il reçut des critiques dithyrambiques.
C'est lors d'un séjour en Grèce, qu'il découvre le livre de Vassilis Vassilikos, Z, retraçant l'assassinat du leader de la gauche organisé par la police et camouflé en banal accident. Dès son retour il en écrit le scénario en collaboration avec
Jorge Semprún. Ne trouvant pas le financement, il en parle à
Jacques Perrin, qu'il connaissait depuis le film Compartiment tueurs. C'est à cette occasion que
Jacques Perrin va créer sa propre maison de production pour monter le film et utiliser ses contacts, en particulier en Algérie, où sera tourné le film.
Jean-Louis Trintignant a accepté un faible cachet et
Yves Montand a accepté de participer. Le film a été un succès à travers le monde et les gens applaudissaient à la fin des séances; il a été récompensé par le « prix du Jury » à Cannes, l'Oscar du « Meilleur film étranger » et celui du « Meilleur montage ».
Lors du montage de « Z », au cours du dîner de Noël, Claude Lanzmann lui parle de Lise et Artur London qui avait été vice-ministre des Affaires étrangères de Tchécoslovaquie et était un des trois rescapés des procès de Prague qui s'étaient tenus en 1952. Beaucoup d'intellectuels de sa génération s'étaient enthousiasmés pour le stalinisme « parce qu'il ouvrait des perspectives qui paraissaient formidables. Jusqu'à ce que, peu à peu, on prenne conscience de l'envers du décor. »
Yves Montand adhère aussi au projet de L'Aveu, et les financements se débloquent grâce au succès de « Z ».
L'Aveu est sorti après « Z », dans une époque assez manichéenne : on lui a reproché d'attaquer la droite puis la gauche, alors qu'il ne voulait que dénoncer les totalitarismes. Certains personnes ne lui pardonnèrent pas d'avoir levé le voile sur le stalinisme et l'évitaient ostensiblement. Le film a connu un succès considérable et devint un véritable phénomène politique et culturel qui a bouleversé son époque.
Le film Clair de femme (1979) est tiré d'un roman de
Romain Gary qui estima que c'était la première fois qu'il était content de l'adaptation d'une de ses oeuvres à l'écran. Costa-Gavras fut séduit dans cette histoire par le fait qu'il s'agissait d'une « tentative de profanation du malheur, d'un hymne à la vie et d'une réhabilitation du couple ».
Dustin Hoffman considéra ce film comme la plus belle histoire d'amour qu'il connaisse et, lors du tournage du film Mad City, suggéra à Costa-Gavras d'en faire un remake.
Le scénario du film Porté disparu (Missing) (1982) est adapté du livre de Thomas Hauser : « L'Exécution de Charles Horman » lui même inspiré d'une histoire vraie. Le film raconte l'histoire de la disparition d'un jeune journaliste américain durant le coup d'État du général Augusto Pinochet en 1973. Ce qui l'avait touché dans cette histoire, était « beaucoup moins le contexte politique du putsch que le thème du père qui, accompagné par sa belle-fille, recherche son fils coûte que coûte dans un pays en plein chaos. »
Le film a été très controversé aux États-Unis car il met en lumière l'action des agents du gouvernement américain et leur responsabilité dans ce coup d'État. L'extrême-droite américaine demanda « Mais que vient faire ici ce communiste européen ? ». Cependant le film reçut la Palme d'or et le Prix d'interprétation masculine au festival de Cannes, et l'Oscar du « Meilleur scénario », et il est toujours montré et présenté comme un film majeur dans les grandes universités américaines. Les musiques sont d'un autre Grec fameux, Vangelis.
Dans les années 1980, il occupe le poste de président de la Cinémathèque française.
Il est membre du comité de parrainage de la Coordination française pour la Décennie de la culture de paix et de non-violence et du Comité de soutien de l' Association Primo Levi.
Le 13 juin 2007, il est nommé président et administrateur de la Cinémathèque française.