自元朔六年卫青漠南之战后，到元狩四年漠北之战期间，他整整被汉武帝闲置了四年。这四年之中，汉武帝发动了两次河西之战，诸将四处出兵，唯独不见这位大将军的身影。
卫青在漠南之战中，虽然前锋赵信投降匈奴，但也斩杀了一万多敌军，还都是大单于的精锐亲军。即便不能和前期的赫赫战功相比，最起码也是功过各半。所以，可以排除他是因过失而被雪藏。
那么这几年都发生了什么？
元狩元年，漠南之战的第二年，卫皇后生的皇长子刘据，也就是卫青除霍去病以外的另一个外甥，被立为皇太子。
此时的卫青是朝中最有权势的外戚。
在此之前，汉武帝祖母的娘家窦氏随着窦婴的满门抄斩，已经消亡。汉武帝母亲的娘家田氏也随着田蚡的去世没落了。那么论资排辈就排到了汉武帝妻子卫皇后的娘家卫氏。
窦婴虽然功劳不小，但官位高的时候不多；田蚡则没什么功劳，完全靠着外戚的身份。卫青则不同了，开汉几十年，论功劳，仅次于开国的韩信，正值英年的他已任大将军，再加上皇后弟弟的身份，就成为了最有实力的外戚。
此时，卫青的外甥被立为了太子。那么这位太子就有了坚实的倚仗。汉武帝前半生都在和各种势力做斗争，起初被祖母窦太后控制着，好不容易祖母去世后，自己缓了口气 母亲王太后和姑母馆陶公主又试图继续控制他。然后他在后宫应付完母亲和姑母，还要在朝里应付窦婴和田蚡。
终于斗倒了所有的实力派，他才发现，自己亲手扶持起来的卫青却成了自己最大的对手。如今太子尚未成年，那么几年之后，长大了的太子和他当大将军的舅舅联合在一起，自己还能左右的了形势吗？
这时候又有一件事刺激到了他敏感的神经。
淮南王谋反，事情败露，调查之后，起底了他起异心谋划叛乱的过程。淮南王策划举兵时，第一顾忌的是大将军卫青，他详细了解了卫青本人的行事作风和作战风格对于卫青，淮南王相当忌惮。所以，淮南王派人潜入了卫府，准备举事后，第一时间暗杀卫青。
自己的大将能威慑起异心的臣子，这本是好事。但从另一个角度，也可以解读为，卫青这个外戚已经成了朝廷砥柱，他刘彻离了卫青是不是就不行了？
这时候，那个年方二十的青年进入汉武帝的视线，虽然他年纪尚小，虽然他是卫青的亲外甥，但到底隔了一层，可以起到分化卫青权势的作用。朝廷不能只有一个卫青，必须弱化卫青的影响力。
纵容到了元狩四年的时候，汉武帝面临与匈奴的命运之战，这时候他不得不起用这位头号战将，但侧重点却放在霍去病方面。但历史却选择了卫青，纵然他兵力不如霍去病精锐，纵然他没有集结全部兵力参战，纵然对方以逸待劳，然而他还是凭借自己非凡的才华取得了胜利。
但是面对如此显赫的战功，汉武帝对他和他的手下没有一点加封赏赐，可见对卫青的压制已经到了明面的程度。