Joseph was de zoon van Patrick J. Kennedy, en net als zijn vader was hij een leidend Democraat in de locale politiek van Boston in Massachusetts. Na aan Harvard gestudeerd te hebben trouwde hij met Rose Fitzgerald, de dochter van John F. Fitzgerald, de burgemeester van Boston.

Net als zijn vader was hij een zakenman, en werd miljonair door het handelen in aandelen. Hij was een meester van de aandelen pool - een dan legale manier waarbij een aantal handelaren samen de waarde van een aandeel omhoog halen, om het dan vlak voor de crash weer te verkopen.

Franklin D. Roosevelt maakte Joseph de Amerikaanse ambassadeur voor het Verenigd Koninkrijk. Hij was een vredelievend man, en diende zijn ontslag in in 1940 toen hij het oneens was met Roosevelt's besluit omtrent de bemoeienis van de VS in de Tweede Wereldoorlog.

Joseph had goede hoop voor politieke carrieres van zijn zoons, en moedigde zijn oudste zoon, Joseph P. Kennedy Jr aan president te worden. Helaas kwam hij om het leven tijdens zijn diensttijd in de oorlog. Joseph gaf toen zijn aandacht aan zijn tweede zoon, John F. Kennedy, en hij werd uiteindelijk tot president gekozen in 1960.

De moord op JFK in 1963 had een groot effect op de familie, en bang om nog een kind te verliezen was Joseph terughoudend in het geven van ondersteuning voor de nominatie voor President van zijn derde zoon, Robert F. Kennedy, in de verkiezingen van 1968. Zijn angst werd bewaarheid toen in 1968 Robert tijdens zijn verkiezingscampagne door Sirhan Sirhan werd vermoord.