九·一八事變後，一批原北洋下野軍閥被日本人利用，紛紛組織親日組織，原北京政府國務總理、臨時執政段祺瑞也進入日本人視野。為避免此公被日本人利用，蔣介石遂派心腹、江浙財閥錢新之前往天津勸說段祺瑞南下。
錢新之與段祺瑞心腹、原財政總長曹汝霖是好友，曹汝霖也寓居津門。到天津後，錢新之上門造訪，曹汝霖頗為驚異，問他為何突然來津。錢新之說明來意，請曹汝霖代為稟報段祺瑞。
段祺瑞當時住在姻親和部下吳光新家，距離曹汝霖寓所很近，曹汝霖一口應承，與錢新之一同來到段家。
段祺瑞曾兼任保定軍校校長，蔣介石是他的學生，蔣介石此次也是以弟子禮邀老師南下的。錢新之很會說話，將事情說得婉轉且不露痕跡。段祺瑞是個明白人，一聽就知道是怎麽回事，馬上應承，並讓錢新之馬上訂機票南下。
段祺瑞在京津一帶的部下得知此事後，紛紛表示反對，但段祺瑞決心已下，對眾人說：“我已答應錢新之，豈能失信！況且機票已經訂好，馬上即可動身。”眾人知道段祺瑞的脾氣，一旦打定主意即難更改，只好聽之。
民國二十二年（1933年）1月21日，段祺瑞悄悄離開天津，脫離日本人的勢力範圍。1月24日段祺瑞移居上海。段祺瑞到南京後，蔣介石親自到機場迎接，口稱“志清”，執弟子之禮甚恭，段祺瑞非常滿意。蔣介石說明了自己的意見，請老師在南京居住。但段祺瑞不同意，他說南京是國民政府駐地，蔣介石政務繁忙，自己居此頗為不便，要求到上海租界居住，並以部下和學生陳調元的一處房子作為寓所。陳調元的這處住宅是西式建築，院中草木葳蕤，頗為幽靜。蔣介石非常滿意，於是同意了老師的意見。
段祺瑞在南京還對新聞界發表了對時局的聲明：“當此共赴國難之際，政府既有整個禦侮方針和辦法，無論朝野，皆應一致起為後援。祺瑞雖衰，亦勉從國人之後。”
段祺瑞到滬上後，國民政府除了一切用度外，每月另付特別費20000元。段祺瑞生活簡樸，稱用不了這麽多錢，蔣介石說若不需此數，可以分贈舊日部下袍澤，以解決他們的生活問題。段祺瑞這才接受，自己隻留下數千元，其他的均分給舊日部下。
段祺瑞到滬上居住後，生活清靜，北方部下如曹汝霖等人常來探望，據文史作家李潔在《文武北洋》中透露，蔣介石也曾來探視。段祺瑞每日在院內散步，在佛堂誦經，然後便在院內草坪上讀書看報。晚上與家人朋友打幾圈麻將，有時還與人下圍棋，圍棋天才吳清源常來段府對弈，段祺瑞經常贏他半子。
段祺瑞平常吃素，平常吃飯隻一菜一湯，有時只有一碟鹹菜，這與蔣介石的生活倒頗為相似。1936年11月，段祺瑞因長期吃素，引發胃病及營養不良，逝於滬上，享年72歲。國民政府為其舉行國葬，因其一生事業都在北方，所以其子女將靈柩移於北平，後葬於萬安公墓，其老友和部下章士釗題寫了墓碑：“合肥段公芝泉之墓。”
香港九龍灣馬來街興發大廈15樓D室