Mos Def a commencé sa carrière musicale avec le groupe éphémère Urban Thermo Dynamics (UTD) avec son frère DCQ et sa soeur Ces. Bien qu'ayant signé sur le label Payday Records, le groupe a seulement enregistré deux singles et son premier album, Manifest Destiny, ne vit le jour qu'en 1994.
En 1996, Mos Def s'est révélé comme artiste solo en collaborant avec De La Soul et Da Bush Babees, avant de sortir son premier single, "Universal Magnetic", qui rencontra du succès dans le milieu underground du hip-hop américain.
Après avoir signé sur le label Rawkus Records, Mos Def et
Talib Kweli formèrent le groupe Black Star, et sortirent un album complet en 1998 intitulé Mos Def and Talib Kweli are Black Star et produit quasi-intégralement par Hi-Tek.
En 1999, Mos Def sortit son premier album personnel, Black on Both Sides, qui contient notamment le single "Umi Says". Il fit parallèlement des apparitions sur les compilations du label Rawkus Soundbombing et Lyricist Lounge qui contient le tube "Oh No". Après l'effondrement de Rawkus, Mos Def et Talib Kweli signèrent en faveur d'Interscope.
En 2003, il apparaît dans le film Braquage à l'italienne, aux côtés de
Mark Wahlberg.
Mos Def sort ensuite son deuxième album, The New Danger, sorti en 2004, puis son troisième, Tru3 Magic en décembre 2006.
En avril 2007, il sort Mos Definite, un album regroupant des sons inutilisés sur ses précédents projets.
Le 9 juin 2009, il sort The Ecstatic, produit par le musicien français Mr. Flash.
En 2010, il chante sur les chansons Stylo et Sweepstakes, sur le 3ealbum studio du groupe Gorillaz, Plastic Beach. En septembre 2010, il signe sur le label GOOD Music créé par
Kanye West.