在李德林的出謀劃策下，楊堅先是取得中央大權，接著又削平叛亂，一步步實現其篡周建隋計劃。然而，在隋朝建立的最後關頭，李德林與楊堅在政見上開始出現分歧。隋朝建立後，雙方的分歧不僅沒有消除，反而不斷加劇，再加上其他大臣的離間陷害，最終，李德林被貶黜外放。
最初，在楊堅將要登基之時，曾擔任石州總管的虞慶則建議楊堅斬草除根，盡誅北周宗室。事實上，楊堅已有此心，篡位的偶然性使其十分擔心北周宗室。高熲、楊惠由於明白楊堅的真實想法，所以也表示讚同。這時，朝中重臣中只有李德林站出來表示反對，結果惹得楊堅大怒，公然斥責李德林“君讀書人，不足平章此事。”可以說，這是一個十分嚴厲的指責。這件事帶來的直接後果就是李德林的晉升之路變得十分困難，史稱“自是品位不加，出於高、虞之下，唯依班例授上儀同，進爵為子。”
緊接著，在隋朝建立後，李德林與朝中其他大臣的衝突也開始表現出來。開皇元年，李德林受命與太尉任國公於翼、高熲等共同修訂律令。律令修訂完成並頒布天下之後，蘇威（時任太子少保，兼納言、度支尚書，兼任大理卿、京兆尹、禦史大夫）多次試圖修改律令，但都被李德林以“律令已經頒布，即使有小的錯誤，只要不危及百姓，就不必多次修改”為由所阻止，雙方開始走向對立面。之後，李德林曾反對蘇威“以孝治國”的主張（事實上，蘇威的主張代表著隋文帝楊堅本人的心意），認為孝是人的天性，不需要以強製的方式來推行孝。開皇九年（589年）在滅陳之後，蘇威又建議以五百家為鄉，設立鄉正，專門負責處理民間辭訟。李德林再次表示反對，認為這樣只會“為害更甚”。而隋文帝楊堅則在內心支持蘇威的建議，但又不好直接表態，於是下令讓百官在東宮共議。結果包括太子楊勇在內的大多數官員都支持李德林的意見，反對設定鄉正。只有宰相高熲體會到了楊堅的深意，但又沒什麽正當理由來反駁李德林，於是只能“稱德林狠戾，多所固勢。”隋文帝也就勢同意了蘇威的意見，在地方設定鄉正和裡長。
同年，李德林又因為賜宅問題再次遭到隋文帝楊堅的斥責，史載“初，大象末，高祖以逆人王謙宅賜之，文書已出，至地官府，忽複改賜崔謙。上語德林曰：‘夫人欲得，將與其舅。於公無形跡，不須爭之，可自選一好宅。若不稱意，當為營造，並覓莊店作替。’德林乃奏取逆人高阿那肱衛國縣市店八十塸為王謙宅替。九年，車駕幸晉陽，店人上表訴稱：‘地是民物，高氏強奪，於內造舍。’上命有司料還價直。遇追蘇威自長安至，奏雲：‘高阿那肱是亂世宰相，以諂媚得幸，枉取民地，造店賃之。德林誣誷，妄奏自入。’李圓通、馮世基等又進雲：‘此店收利如食千戶，請計日追贓。’上因責德林，德林請勘逆人文簿及本換宅之意，上不聽，乃悉追店給所住者。自是益嫌之。”簡單的概括就是，蘇威等人利用隋文帝賜宅給李德林，百姓上邊訴冤這一事件，指責李德林侵吞贓物，引得隋文帝大怒，使其再次訓斥李德林。儘管李德林對此做出了解釋，並請求檢查相關账本書簿，但隋文帝不聽李德林解釋，對李德林做出處罰並因此更加厭惡李德林。
開皇十年，去年所設定的鄉正的發展果然如李德林所猜想的那樣。“（開皇）十年，虞慶則等於關東諸道巡省使還，並奏雲：“五百家鄉正，專理辭訟，不便於民。黨與愛憎，公行貨賄。”隋文帝又下令廢除鄉正，這時，李德林認為朝廷不可“朝令夕改”，於是再次上奏：“此事臣本以為不可。然置來始爾，複即停廢，政令不一，朝成暮毀，深非帝王設法之義。臣望陛下若於律令輒欲改張，即以軍法從事。不然者，紛紜未已。”結果再次激怒了隋文帝，文帝“大詬雲：‘爾欲將我作王莽邪？’”這件事成了楊堅與李德林徹底決裂的導火索，楊堅新账舊账一起算，數落李德林道：“公為內史，典朕機密，比不可豫計議者，以公不弘耳。寧自知乎？朕方以孝治天下，恐斯道廢闕，故立五教以弘之。公言孝由天性，何須設教。然則孔子不當說《孝經》也。又誷冒取店，妄加父官（指李德林曾虛報其父生前的官職），朕實忿之而未能發。今當以一州相遣耳。”將李德林貶為湖州刺史，李德林請求能以散官的身份留在京城，結果遭到楊堅的拒絕，只是將其改任為懷州刺史。
李德林被楊堅徹底趕出京城的同年（開皇十年），死於任上，年六十一歲。去世後，楊家為其“贈大將軍、廉州刺史，諡曰文”。下葬的時候，楊堅又派“羽林百人，並鼓吹一部，以給喪事。”同時“贈物三百段，粟千石，祭以太牢。”凡此種種，也算是對曾經與自己一起謀劃天下的手下的一種安慰吧。
參考文獻：《周書》、《北齊書》、《隋書》、《資治通鑒》
香港九龍灣馬來街興發大廈15樓D室