后来秦国攻占苍梧郡后，吕氏家族第一时间倒向秦国，这是保全其家族的一个英明决定，也正因为如此秦攻占苍梧后，并没有对吕家采取什么行动。毕竟吕家虽然在这偏远的苍梧堪称富豪之家，但在泱泱大秦却还是很不够看，甚至说再出了苍梧都没什么人知道。

秦王嬴政灭六国，统一华夏之后，便将目光转向了百濮之地。派屠雎为主将，赵佗为副将率领五十万大军平定岭南。而在这一过程中，吕坚的太爷爷吕中，排除家中不同意见，秘密给予秦军以大力支持，并坚决不让屠雎将这一情况上报给嬴政。

家中人都对老爷子的这一举动表示不解。吕中解释道，这秦国重农抑商，我们吕家世代以经商为业，因此只有亲近这些地方大员才能为我们以后家族维持本业打好基础，不然这些大员随时都可以灭了我们吕家。家中又有人问，那为何不让屠将军告知皇帝？

吕中怒斥道：“蠢材！皇帝是什么人？如果让他知道，有我们的存在，我们吕家危矣。”大家都不知道吕中的话的意思，但后来传来嬴政迁天下富户于关中的消息的时候，众人这才明白吕中话中的意思，为老爷子的远见感到庆幸。

到了秦军攻下岭南，建立桂林郡、象郡和南海郡，这岭南三郡之后，吕中举家迁往番禺。其实，这也很好理解，因为同苍梧比起来，番禺的条件自然也好的多。但是，接下来的事情，就是所有人的没想到的了。秦历经二世而亡，而这五十万大军被困岭南，屠雎死后，赵佗自立为南越国皇帝。

但因之前就与赵佗建立起的良好关系，所以在这次变局之中，吕家不但没有受到什么损失，反而愈发的壮大起来。在赵佗称帝后，吕中就曾建言赵佗，说这南越之地，物产丰饶，地之所出，不为粮食而烦扰。但这岭南不产金银，地域不广，因此除了农业所出，其余资源必仰仗外来输送，因此不能像中原那般打压商业，反而应当鼓励工商发展，尤其是发展海外贸易。

赵佗听了吕中的话，深以为然，于是任命吕中中大夫，专门负责南越国的工商业和海外贸易。而吕家也因此越发壮大起来。但是吕中却给家族定下了，不许参与军事，不许担任丞相的规定，只许后人担任负责工商的官员和地方官员，以避免朝争而引火烧身。

至此之后，吕家只选出很少的几个优秀子弟出任朝廷官员，绝大多数子弟都还是以经商为业。虽然家族之中也有怨言之声，但老爷子余威尚存，所以到了吕坚这一代，依然如此。吕坚是家族中长房三子，他的大哥吕诲依然担任南越国的中大夫，负责南越国的工商业和海外贸易，前段时间正好出使安南，目前结束出使，回到了南越国，昨日刚到象郡。因此，也在押解伏黯的队伍之中。