Még Audrey Hepburn is féltékeny volt erre a gyönyörű színésznőre: igazi csillag volt, mégis alig emlékszik rá valaki

Simmons 1950-ben ment feleségül Stewart Granger brit színészhez, akivel Hollywoodban az egyik legszebb párnak számítottak. Házasságukból egy lányuk született, Tracy, azonban a kapcsolat viharossá vált, és 1960-ban elváltak. Még ugyanebben az évben hozzáment Richard Brooks rendezőhöz, akitől egy második lánya, Kate született. Bár Jean szépségét és eleganciáját gyakran hasonlították Audrey Hepburnéhez, a két színésznő stílusa eltért: míg Hepburn a kifinomult ártatlanság megtestesítője volt, Simmonsban a természetes nőiesség és érzelmi mélység ötvöződött. Egyes pletykák szerint Hepburn valóban féltékeny volt Simmons gyorsan emelkedő csillagára, és aggódott, hogy kiszorítják őt bizonyos szerepekből – például az 1953-as Római vakáció kapcsán is felmerült, hogy Jean is esélyes volt a főszerepre.