Nyílt titok volt Hollywoodban a hűtlensége: évekig csalta a feleségét a filmcsillag, szeretőjét pedig az abortuszra is rábeszélte

Azt is beismerte, hogy szerelmes Nealbe, azonban vele sem volt azonban felhőtlen a kapcsolata, hiszen 1950-ben abortuszra is rábeszélte, mert úgy gondolta, hogy egy házasságon kívüli gyerek tönkre teheti színészi karrierjét. 1951-ben különköltözött feleségétől, de nem váltak el hivatalosan, és Neal sem tartott ki sokáig mellette, 1951 december végén szakítottak.