可是，杨坚对李德林的冷漠和疏远，其实是在受禅即位之前就有了的。
其时，担任石州总管的虞庆则劝杨坚尽灭宇文氏，高颎、杨惠等人都表明附和。李德林却书呆子气大发，固争，认为不行。
杨坚当场就变脸了，怒斥李德林说：“君读书人，缺乏平章此事。”
还有，在杨坚发飚怒骂李德林是“读书人”之前，他曾把起兵呼应尉迟迥作乱的益州（今四川成都）总管王谦的豪宅赏赐给李德林，但很快懊悔，又转赐给自己的亲家崔谦，而向李德林解说说：“夫人欲得，将与其舅。于公无踪迹，不须争之，可自选一好宅。若不称意，当为营建，并觅庄店作替。”
李德林其时一挥而就地要了北齐前宰相高阿那肱在卫国县八十个市店。
哪料，也是在开皇九年 (公元589年)这年，杨坚巡幸晋阳，卫国县市店里的人告御状，说“地是民物，高氏强夺，于内造舍”。
杨坚听了大为不满，派有关部门按价给老百姓赔钱。
因“建立乡正”之争而与李德林结下了梁子的苏威，趁机上奏，说：“高阿那肱是浊世宰相，以奉承得幸，枉取民地，造店赁之。德林诬誷，妄奏自入。”
杨坚所以对李德林做出了相应处分，并愈加讨厌李德林。
偏偏，李德林还不知好歹。
前面说了，开皇九年(公元589年)所设置的乡正的开展正如李德林所猜测的那样。开皇十年(公元590年)，虞庆则等人从关东诸道巡察回来，都陈述说：“五百家园正，专理辞讼，不便于民。党与爱憎，公行货贿。”
杨坚只好命令废弃这项政措。
李德林却提出对立，他上奏：“此事臣本认为不行。已然现已设置好了，而且又现已全面实施，现在忽然停废，可谓政令不一，朝令夕改，全非帝王立法治国之义。臣望陛下严加赏罚随意更改法则的人。不若此，纷纭未已。”
杨坚再也不由得，当场吼怒，骂李德林：“尔欲将我作王莽邪？”
而开皇五年(公元585年)，李德林作《霸朝杂集》得杨坚嘉奖，杨坚要给他父亲追封赠官，问他父亲生前所任最高官职。李德林大脑一时短路，就说他的父亲是太尉谘议。此事被李元操与陈茂等人背面揭露，说：“李德林的父亲，逝世时为校书，而他自己妄称谘议。”
所以，这会儿，杨坚再也不由得，将近十年来对李德林的积怨悉数抖搂出来，铺天盖地，一条条算，说：“你身为内史令，掌朕秘要，却一再干涉政事，充沛彰显出你的许多偏邪和狭隘。莫非一点自知之明也没有吗？朕方以孝治全国，深恐此道废缺，故立五教以推行宏扬。你却说孝由天分，不须设教。莫非孔子著《孝经》是错了的？你又誷冒取店，妄加父官，朕实忿之而未能发。现在，应当遣你到当地一个州上去任职。”
