霍英东有一妻（吕燕妮）二妾（冯坚妮、林淑端），下有十子三女，其孙皆在英国接受教育，霍英东元配夫人为吕燕妮，诞下三子震霆、震寰、震宇及三女丽萍、丽娜、丽励，其中霍震霆为港协暨奥委会会长，次子霍震寰为香港中华总商会主席，幼子霍震宇主力打理南沙业务。霍震霆的太太为1977年香港小姐冠军朱玲玲，两人现已离婚。

霍英东的二太太冯坚妮是他的初恋情人，经常陪伴霍老出席公开活动，二人育有文芳、文斌、文逊等三名儿子。霍、冯传说是韩战时的生意拍档，1977年8月霍母病逝，霍英东在报上的讣闻印有冯及其儿子们的名字，正式承认冯坚妮的身分。霍文芳之前妻为新马师曾遗孀洪金梅之十一妹洪国华。

三太太林淑端育有显旋、显光、显强、显杨四子，但为人低调，较少曝光，喜爱粤曲，是红线女的歌迷。

霍家的生活往往成为传媒追访的新闻。其中霍震霆1978年9月迎娶港姐朱玲玲成为当时轰动的新闻，但2000年以离异告终。霍英东次子霍震寰太太则是艺人陈琪琪，成为一时佳话。霍英东
霍英东

2004年，霍启刚与郭晶晶被传媒拍下亲密照；另一孙儿霍启山亦在2004年被传媒拍下在派对上与章子怡跳舞。另一名孙儿霍启中2004年因藏有大麻及吸食大麻用具，判罚款1500元及留案底，霍英东当时指孙儿需要教训，认为惩罚恰当。