Zűrös viszonyba bonyolódott a két színészlegenda: izzott köztük a szenvedély, ám szerelmüknek nem volt jövője

A színész harmadik házassága Joan Plowright színésznővel végre stabil és kiegyensúlyozott volt, ő maga pedig meglelte az áhított nyugalmat. Szerelmükből három gyermekük született, Richard, Tamsin és Julie-Kate – fiuk rendező lett, a két lány pedig színésznőnek állt. A szülők Olivier haláláig, 1989-ig együtt éltek.