Nyílt titok volt Hollywoodban a hűtlensége: évekig csalta a feleségét a filmcsillag, szeretőjét pedig az abortuszra is rábeszélte

Összességében három évet élt külön feleségétől, és ez idő alatt barátnői sorát Anita Ekberg, Grace Kelly, Lorraine Chanelés Gisèle Pascal is gazdagította, sőt 1956-ban még Gina Lollobrigidával is hírbe hozták. 1954-ben kibékült feleségével, hét évvel később azonban végleg elváltak útjaik.