吕良伟历任妻子来头都不小，1986年他在拍摄《小岛风云》和刚出道的周海媚因戏生情，交往2年后他和21岁的周海媚在美国拉斯维加斯秘密登记结婚，不料结婚1年后周海媚就以性格不合为由离婚，吕良伟也曾在节目上透露两人价值观不同常吵架。这段关系结束时引起诸多猜测，有传周海媚爱上黎明，为此吕良伟对周海媚动粗，还打了黎明一顿。对此，吕良伟澄清没有动手，且黎明也不是感情的第三者。有趣的是，多年后吕良伟才发现两人不熟悉美国的登记制度，当初没有正式注册，严格来说没有结婚。

1996年吕良伟和歌手邝美云传出绯闻，两人打麻将结识，吕良伟以传统中式婚礼迎娶邝美云，但婚姻只维持8个月，离婚时还被发现两人未正式注册。吕良伟在自传回忆这段感情，坦承一开始寄予极大期望，但最终的失败让他对爱情的信念瓦解，更灰心想以后不要结婚了。

后来，随著吕良伟的知名度下滑，他决定转型创业。当时吕良伟认识了女富商杨小娟，对方比他小15岁。起初吕良伟向杨小娟拿联络号码还惨遭拒绝，这反而激起他的兴趣，经过他的锲而不舍两人才交往。有传闻杨小娟曾帮助吕良伟从负债中翻身，让他一跃成为身家过亿的富豪。两人于2001年结婚，育有一子，夫妻俩感情稳定，常常在社交平台晒照放闪。