Legendás volt a szerelmük: Fülöp herceg többször félrelépett, de II. Erzsébet még a hűtlenséget is megbocsátotta

Az ötvenes években felröppent a pletyka, hogy Fülöp rendszeresen kikacsintgat a házasságából, később pedig még Gábor Zsazsával, valamint John F. Kennedy elnök feleségével, Jackie Kennedyvel is összehozták, emellett kiderült, hogy Pat Kirkwood színésznővel, Katie Boyle televíziós hírességgel, és Sarah Ferguson édesanyjával, Susan Barrantesszel, és egy bizonyos Helene Cordettel is kapcsolatba került. A királynő nagyon nehezen élte meg ezt az időszakot: még az amerikai újságok is azt találgatták, vajon túléli-e a házassága a magánéleti válságot.