刘邦看见太子身后跟着四位须发皆白、神情飘逸，简直可以入画的老者，不觉好奇地问他们是谁。四位做了回答。刘邦听说他们是自己多次请不下山的商山四皓，大感惊讶。就问为什么先前自己三番五次敦请而不来，如今却甘心情愿地辅佐自己的孩子。商山四皓解释了先前为何不愿下山的原因，说太子仁孝恭敬、礼贤下士，天下的人都愿意追随太子，所以他们四个人才相约下山，前来为太子尽绵薄之力。刘邦原来想换太子，主要的原因是觉得太子太过软弱，怕他即帝位之后，用不了几年刘姓江山就要易主。
如今朝中的元老大臣、张良和商山四皓这样的高士都愿意为太子效力，看样子自己的顾虑可以打消了。此后，改立储君的斗争虽然仍然有，但张良的这一计策，为日后刘盈登上皇位起到了一定的作用。从此以后，张良便索性称病不朝，一直到汉惠帝六年因病而逝，伴随他殉葬的是-块黄石。原来，当年张良在下邳接受黄石公赠书的时候，那位神秘的老人曾约他十三年之后在济北相见。并告诉他说谷城山下的那块黄石就是他。十三年后，张良果然在济北的谷城山下找到了那块黄石，把它一直供奉着，并在临终的时候，吩咐家人把它放在自己的棺木之中。
