“来了以后，把他们当作贵宾，让他们时常跟着太子入朝，叫陛下见到他们，那么陛下一定会感到惊异并询问他们；一问他们，陛下知道这四个人贤能，那么这对太子是一种帮助。”
于是吕释之派人携带太子的书信，用谦恭的言辞和丰厚的礼品，迎请这四个人；四个人来到后，就定居在建成侯吕释之的府邸作客。
高皇帝十一年（公元前196年），英布反叛，高皇帝身患重病，打算派太子刘盈率兵前往讨伐叛军。这四个人互相商议说：“我们之所以来，是为了要保全太子，太子如若率兵平叛，事情就危险了。”
于是劝告建成侯吕释之说：“太子率兵出战，如立了功，那么权位也不会高过太子；如无功而返，那么从这以后就是遭受祸患了。”
“再说，跟太子一起出征的各位将领，都是曾经同皇上平定天下的猛将，如今让太子统率这些人，这和让羊指挥狼有什么两样，他们决不肯为太子卖力，太子不能建功是必定的了。”
“我们听说‘爱其母必抱其子’，现在戚夫人日夜侍奉陛下，赵王如意常被抱在陛下面前，陛下说‘终归不能让不成器的儿子居于我的爱子之上’，显然，赵王如意取代太子的宝位是必定的了。”
“您何不赶紧请吕后打机会向皇上哭诉：‘黥布是天下的猛将，很会用兵，现今的各位将领都是陛下过去的同辈，您却让太子统率这些人，这和让羊指挥狼没有两样，没有人肯为太子效力，而且如让黥布听说这个情况，就会大张旗鼓地向西进犯。”
“陛下虽然患病，还可以勉强地乘坐辎车，躺着统辖军队，众将不敢不尽力。陛下虽然受些辛苦，为了妻儿还是要自己奋发图强一下。’”
于是吕释之立即在当夜觐见吕后，吕后找机会向高皇帝哭诉，说了四个人授意的那番话。高皇帝说：“我就知道这小子派不上用场，老子自己去吧。”
虽然高皇帝嘴上这么说，但其实还是因为周吕侯去世，汉家没有帅才可用，高皇帝忌惮于韩信往日谋逆的往事，不敢再信任外臣，所以希望太子能够找出来帮帮自己。
最终，高皇帝还是亲自带兵东征，群臣留守，都送到灞上。
张良患病，自己勉强支撑起来，送到曲邮，谒见高皇帝说：“我本应跟从前往，但病势沉重。楚国人马迅猛敏捷，希望陛下不要跟楚国人斗个高低。”
张良又趁机规劝高皇帝说：“让太子做将军，监守关中的军队吧。”
高皇帝说：“子房虽然患病，也要勉强在卧床养病时辅佐太子。”这时叔孙通做太傅，张良任少傅之职。
高皇帝十二年（公元前195年），高皇帝随着击败英布的军队回来，病情更加严重，愈发想要更换太子。张良劝谏，刘邦不听，张良就托病不再理事。
太傅叔孙通引证古今事例进行劝说，死命争保太子；高皇帝假装答应了他，但还是想更换太子。
等到安闲的时候，设置酒席，太子刘盈在旁侍侯，建成侯吕释之先前请来的四人跟着太子，他们的年龄都已八十多岁，须眉洁白，衣冠非常壮美奇特。
高皇帝感到奇怪，问道：“他们是干什么的？
”四个人向前对答，各自说出姓名，叫东园公、甪里先生、绮里季、夏黄公。
高皇帝于是大惊说：“我访求各位好几年了，各位都逃避我，现在你们为何自愿跟随我儿交游呢？”
四人都说：“陛下轻慢士人，喜欢骂人，我们讲求义理，不愿受辱，所以惶恐地逃躲。我们私下闻知太子为人仁义孝顺，谦恭有礼，喜爱士人，天下人没有谁不伸长脖子想为太子拼死效力的。因此我们就来了。”
听到四人的话，高皇帝若有所思地说：“烦劳诸位始终如一地好好调理、保护太子吧。”
四个人敬酒祝福完毕，小步快走离去。
高皇帝目送他们离去后，召唤戚夫人过来，指着那四个人给她看，说道：“我想更换太子，他们四个人辅佐他，太子的羽翼已经形成，难以更动了。吕后真是你的主人了。”
戚夫人哭了起来，高皇帝说：“你为我跳楚国的舞蹈，我为你唱楚国的歌。”
高皇帝唱道：“鸿鹄高高飞起，一跃翱翔千里。羽翼已经长成，横跨超越四海。已然纵横四海，还能奈他如何！虽有利箭长绳，又能何处施展！”
高皇帝唱了几遍，戚夫人抽泣流泪，高皇帝起身离去，酒宴结束。
高皇帝最终没更换太子，原因是张良（教吕释之）招揽的这四个人效力太子，让高皇帝认为，朝中的文武大臣都很拥护太子，太子仁义的名号也传遍了天下。
而在高皇帝一朝，吕氏外戚的两个男丁吕泽、吕释之两人，一个帮高皇帝平定了天下，另一个帮孝惠皇帝稳住了太子的位置，二人都是国家的栋梁。
但吕家很不幸的是，吕泽、吕释之的儿子都没有得到很好教养。
吕泽的儿子吕台、吕产，都是后来谋划叛逆之事的人，吕释之的长子吕则得侯第二年，建成侯国就因罪被废除，吕释之得另一个儿子吕禄，也同样是谋逆之人。
吕台是吕产的长兄，在后来太祖高皇帝驾崩之后，吕产劝说长兄吕台为吕家揽收权力，吕台因为父亲吕泽战功赫赫而没有顾忌，才导致了后来吕氏外戚子弟不恭，吕产、吕禄举兵谋逆的事。
吕禄的父亲是建成侯吕释之，吕产、吕台的父亲是周吕侯吕泽；周吕侯、建成侯对汉室立下了汗马功劳，他们的子孙却凭仗着父辈的武勋，谋划叛逆的事，实在是为公侯勋贵做出了坏的榜样。
如果没有吕禄、吕产等人得谋逆行为，吕氏外戚本来应该在我的笔下得到《世家》一篇，但发生了那样的谋逆之事后，吕泽、吕释之二人只能被我归为列传，其他的吕氏族人，则分散在其他几个部分当中。
对于吕氏一族，吕产、吕禄二人的罪孽可谓罄竹难书，对于汉室，吕氏外戚得功过也算得上是毁誉参半，但终归功大于过。