太史令司马迁欣赏李陵的为人，在文武百官见风使舵时冒死为李陵辩言，说：“陵事亲孝，与士信，常奋不顾身以殉国家之急。其素所畜积也，有国士之风……转斗千里，矢尽道穷，士张空弮，冒白刃，北首争死敌，得人之死力，虽古名将不过也。身虽陷败，然其所摧败亦足暴于天下。彼之不死，宜欲得当以报汉也。”
结果司马迁因此遭受宫刑，而汉武帝又听信谗言，将李陵家处以了族刑，实际上为匈奴练兵的是早已投降匈奴的李绪，李陵得知后愤而质问来匈奴的使者：“吾为汉将步卒五千人横行匈奴，以亡救而败，何负于汉而诛吾家？”
原本李陵兵败被俘但始终心向汉，全家之死则令李陵心灰意冷，转而真投降了匈奴，匈奴单于器重李陵，可谓是得偿所愿，并将女儿许配了李陵，以此笼络，不过李陵憎恨全家受李绪连累而将李绪杀害报仇，此事却让单于的母亲憎恨，她要杀掉李陵，单于便将李陵送往了北方，让他在那里练兵。
彼时霍光在干什么？霍光为霍去病的异母弟弟，霍去病与亲生父亲霍仲孺相认后，将霍光带到了长安，而在霍光的帮助下，霍光在宫中历任各职，霍去病去世后，霍光便侍奉在汉武帝的左右，前后出入宫禁二十多年，但未曾犯过一次，可见霍光确实有着很高的能力，也深知宫中处事之道。
霍光与李陵是好友，但李陵出事之时，霍光又有何能力为霍光说话？一旦开口，他的政治生涯就将结束，这样的结局对霍光十分不利，李陵也没有什么改变。
之后霍光又避免了巫蛊之祸的殃及，汉武帝十分信任霍光，让宫中画师画《周公辅成王朝诸侯图》，赏赐给了霍光，意味已经非常明显，公元前87年，汉武帝在临终前明确指定了霍光为大司马、大将军。
霍光不仅得汉武帝的信任，还深得昭帝刘弗陵的信任，权势极高，于是霍光派人前去匈奴迎接李陵，彼时李陵穿着匈奴的服饰蓄着匈奴发式，尽管李陵的故人任立政说汉朝已经宣布大赦，汉昭帝年幼，由霍光、上官桀辅政，李陵就算心动，但并未答应。
李陵只是问：“霍公与上官大人可好？”任立政便顺着说：“他们都请少卿回去故乡，富贵是不用担心。”可李陵即使怀念故乡，但全家被诛杀，乡亲们以他为耻，李陵顿感痛心，就说：“我回去容易，只怕再次蒙受耻辱，无可奈何！”
汉朝伤了李陵的心，让他的一片忠心东流，李陵不愿回去听别人的闲言碎语，而匈奴单于在其困难之际收留了他，厚待于他，李陵怎可背信弃义？因此说：“大丈夫不能反复无常，再次蒙羞。”
所以李陵拒绝返回汉朝，此后一直是留在匈奴，最终于公元前74年病逝。而霍光的权势愈发高涨，成了史上第一个废掉皇帝的权臣，尽管如此，霍光废立刘贺，还是有益于汉朝的发展。