李渊晚年的生活实在不好，宫殿缺乏修缮，生活受到限制，甚至让李世民的臣子都有些看不下去了。
玄武门之变后，李渊被迫封李世民为太子，监国，不久退位。退位之初，待遇还是不错的，仍然居住在皇宫的正宫太极宫中，而李世民则在太子的居所东宫处理政务。但李世民显然心有不甘，所以，对父亲开始不断“打脸”。首先是废除了李渊在位时的大部分政策，这也就算了。紧接着，李世民不断在公开场合批评李渊武德年间的朝政：诸如“武德之际，货贿公行，纪纲紊乱……”、“武德之时，政刑纰缪，官方弛紊……”这些都在史书中有明确记载。更是将李渊最信任的宰相裴寂评论的一无是处，贬谪出京，说他一切都是仰仗李渊为非作歹。这些对父亲毫不掩饰的批评无疑就是在暗示李渊，赶紧搬出去。
所以，李渊也识相，在贞观三年四月，“主动”提出，愿意从太极宫迁往弘义宫居住，理由是那里“有山林胜景，雅好之……”实际上，弘义宫就是原本的李世民秦王府。里面根本没什么好景致不说，更是在规模上远小于太极宫，甚至比太子东宫也要小上不止一个规模。
李渊迁入弘义宫后，改名大安宫。那大安宫环境如何？不好！因为有监察御史马周的奏书为证。贞观六年，马周上疏说：
“臣伏见大安宫在宫城之西，其墙宇宫阙之制，方之紫极，尚为卑小。臣伏以东宫皇太子之宅，犹处城中，大安乃至尊所居，更在城外。虽太上皇游心道素、志存清俭，陛下重违慈旨、爱惜人力，而蕃夷朝见及四方观听，有不足焉。臣愿营筑雉堞，修起门楼，务从高显，以称万方之望，则大孝昭乎天下矣。”
大安宫在宫城外，显得卑小，而东宫都还在城中，所以希望能够修缮大安宫，以彰显皇帝孝道，结果李世民不驳回也不采纳，搁置……
另外，李渊生性好动，在武德年间即使公务繁忙，战争不断，他也会四处游猎。但是自从成为太上皇，再也没有出过宫门。当年夏天，李世民前往九成宫避暑，马周又一次上书“臣又伏见明敕，以二月二日幸九成宫。臣窃惟太上皇春秋已高，陛下宜朝夕视膳而晨昏起居。今所幸宫去京三百余里……非可以旦暮至也。太上皇情或思感，而欲即见陛下者，将何以赴之？且车驾今行，本为避暑，然则太上皇尚留热所，而陛下自逐凉处，温清之道，臣窃未安！”意思是太上皇年事已高，皇上应该日夜伴随左右，现在跑这么远，太上皇想你怎么办？更重的话在后面，你自己跑到清凉的地方避暑去了，却把太上皇留在酷热难耐的地方，这是孝道吗？李世民依然不理，此后贞观七年五月和贞观八年三月，李世民又两次巡幸九成宫，都没有带李渊同行。
如果仅仅这样，也还罢了，关键是李世民后面的举动就有点不厚道了。贞观八年七月，李世民居然一反常态“屡请上皇避暑九成宫”。是他幡然醒悟了吗？不是，是李渊去不了了！因为那时候，李渊患了“风疾”，也就是中风了。对于一个年近七十的中风病人，再怎么想出去，也不可能挨得起舟车劳顿了。李世民却乘此机会大献殷勤，你早干嘛去了？贞观八年，李世民以为太上皇兴建清暑之所为由修建大明宫。但所有人都知道，李渊那时候已经病入膏肓，不可能入住了。李世民不过又一次借尽孝的名义给自己造了个宫殿而已。果然，大明宫尚未完工，李渊撒手人寰。而李世民也顺理成章从太极宫搬入更为豪华的大明宫。
李世民对李渊的态度，著名的直臣魏征也看不下去。李渊去世一年后，李世民的皇后长孙氏去世，李世民万分悲痛，常常思之落泪。更是在宫中造了一座瞭望台，时时眺望安葬长孙皇后的昭陵。有一次，李世民带着魏征一起登上瞭望台，让魏征一起看，魏征却回答看不见。李世民很诧异，当即指给他看。魏征说，我还以为陛下说的是高祖的献陵，原来陛下说的是昭陵，那我早就看见了。李世民知道这是魏征在指责自己不尽孝道，只好悻悻然拆除了瞭望台。