Surnommé Joe par ses proches, Kennedy est né à Boston et est rapidement devenu, comme son père Patrick Kennedy II (1858-1929), un important membre local du parti démocrate. Après avoir obtenu son diplôme de l'Université Harvard en 1912, il se maria avec Rose Fitzgerald, la fille de John F. Fitzgerald, maire démocrate de Boston. Ensemble, ils eurent neuf enfants dont Joseph Patrick Kennedy Jr., le Président
John F. Kennedy, Robert Francis Kennedy et Edward Moore Kennedy.
Kennedy était un homme d'affaires prospère dont les activités couvrirent la construction de bateaux, la banque, le cinéma (la RKO), et la bourse. Il multiplia notamment sa fortune grâce à certaines méthodes, alors légales, qui consistaient à acheter en masse un titre pour faire gonfler son cours et le revendre avant l'éclatement de la bulle. Certains attribuent à cette pratique une partie de la responsabilité dans le krach de 1929 qui fut le point de départ de la Grande Dépression. Ironiquement, peu de temps après, il fut nommé premier président de la Securities and Exchange Commission, « gendarme » des marchés financiers nouvellement créé par le Président Franklin Delano Roosevelt, où il fut notamment chargé d'interdire ces pratiques. Kennedy a fait fortune durant les années 1930 pendant la prohibition. Il semble que Kennedy fit de substantiels bénéfices en important illégalement de l'alcool; il aurait été en relation avec la mafia de Chicago, qu'il sollicitera plus tard lors de la campagne présidentielle de son fils par l'intermédiaire de Sam Giancana.
Au niveau politique national, Kennedy fit ses premières armes en soutenant Franklin Delano Roosevelt dans sa campagne pour la présidence en 1932, support dont il fut récompensé par la nomination à la tête de la SEC. Malgré les critiques à son égard, Kennedy fit un bon travail à la tête de la SEC, ce grâce à sa connaissance des marchés financiers.
Une importante réforme fut l'obligation faite aux sociétés de rendre régulièrement leurs comptes auprès de la SEC, règle qui brisait le monopole sur l'information que s'était construit la famille Morgan. Après avoir servi à ce poste plusieurs années, Kennedy démissionna en 1935. Le Président Roosevelt lui demanda alors de présider la Commission Maritime.
Il semble que pendant cette période, Kennedy fut l'artisan de la non-intervention des États-Unis dans la guerre d'Espagne : alors que la majorité soutenait les loyalistes républicains, Kennedy persuada Roosevelt que la communauté catholique américaine soutenait les forces de Francisco Franco et fit circuler des preuves d'atrocités exercées contre l'Église par les républicains.
En 1938, il fut nommé ambassadeur des États-Unis au Royaume-Uni. D'origine irlandaise, Kennedy avait peu de sympathie pour l'Angleterre. Au contraire, il sympathisait avec le mouvement America First, pro-allemand, dirigé par Charles Lindbergh et avec d'autres qui ne souhaitaient pas de guerre avec
Hitler. Il soutenait donc une politique d'isolationnisme de la part de États-Unis et appuyait la politique d'apaisement avec
Hitler de Neville Chamberlain. Discrédité à Londres et à Washington, il démissionna de son poste en 1940, étant opposé à la décision de Roosevelt d'impliquer le pays dans la Seconde Guerre mondiale.
Kennedy nourrissait de grands espoirs politiques pour ses fils. Il destinait son fils aîné, Joseph Patrick Kennedy Jr., à devenir le premier président catholique des États-Unis. Toutefois, Joseph Jr. fut tué au cours d'une mission aérienne pendant la guerre. Tous ses espoirs se reportèrent alors sur John, qui remporta l'élection présidentielle en 1960.
En 1961, Joseph Kennedy subit une attaque cérébrale qui le laissa hémiplégique.
L'assassinat de John en 1963 eut un effet terrible sur la famille et ce n'est qu'avec réticence que Joseph accepta de soutenir la candidature de son fils Robert à l'élection présidentielle de 1968, de peur de perdre un autre fils. L'assassinat de Robert par Sirhan Sirhan pendant la campagne devait lui donner raison.
Joseph Kennedy mourut l'année suivante, le 18 novembre 1969, la veille de l'alunissage d'Apollo 12, deuxième mission lunaire du programme spatial pour lequel son fils avait tant oeuvré.