13 férfival csalta meg férjét a némafilmek sztárja, aki hatszor házasodott: még egy nős férfival is éveken át viszonya volt

Különösen nagy visszhangot váltott ki éveken át tartó kapcsolata a nős iparmágnással, Joseph Kennedyvel. A férfi nemcsak szeretője, hanem üzleti partnere is volt, és jelentős szerepet játszott Swanson filmjeinek finanszírozásában. Viszonyuk nyílt titoknak számított Hollywoodban, és komoly társadalmi felháborodást keltett, hiszen Kennedy házas férfi volt. A kapcsolat végül megszakadt, de hosszú ideig meghatározta a színésznő életét.