Sosem titkolta leszbikus viszonyait a szépséges színésznő: fűtötte őt a vágy, rengeteg nővel bújt ágyba 71 éve alatt

Filmes karrierje azonban az 1940-es évek közepén hanyatlani kezdett, így Patsy visszatért Hollywoodból New Yorkba, ahol rádiózni kezdett, majd pedig Tallulah Bankhead barátja és személyi asszisztense lett, akivel közelebbi és intimebb kapcsolatba is került.