Ranaldo est né à Glen Cove, dans le Long Island,à New York, et il est diplômé de l'Université de Binghamton. Il a commencé sa carrière à New York dans plusieurs groupes, tel que Plus Instruments et en joignant l'orchestre de Glenn Branca en 1980, au sein duquel il rencontre
Thurston Moore. En 1981, Lee Ranaldo remplace Marty Pierrant's dans le groupe Sonic Youth, qui n'est à l'époque qu'un groupe débutant, n'ayant joué que quelques concerts.