东汉世祖时骠骑将军张意之子隐居于灵山，后舍宅为寺。据《寺志》载：东汉世祖时骠骑将军张意之子中书郎张齐芳隐居于灵山，后舍宅为寺，初名灵山寺，此即保国寺的前身。
唐武宗时，灵山寺被废。唐武宗会昌二年至五年（842年－845年），官府便下令拆毁寺宇，勒令僧尼还俗。据统计当时拆毁大寺四千六百余所，小寺四万余所。灵山寺在这次灭法活动中被废。
唐广明元年复寺，并赐名保国寺。唐广明元年（880年），宁波国宁寺僧可恭，应施主之要求，前往长安上书朝廷，请求复寺，获得批准，唐僖宗李儇赐额保国寺。
保国寺在唐创建之时的建筑至今未能存留。保国寺在唐创建之时，规模不大，再加上唐代晚期佛教发展缓慢，社会客观条件不够理想，寺院建筑未能存留至今。
宋真宗大中祥符四年（1011年）德贤“复过灵山，见（保国）寺已毁，抚手长叹，结茅不忍去”。由此出任寺院住持，迎来了保国寺的第一次中兴。
宋高宗绍兴年间（1131年－1161年）僧仲卿建法堂。僧宗普开凿净土池、栽四色莲花。当时仲卿与宗浩还曾建十六观堂，在法堂西，后废。南宋时期的这些建设项目保留至今的只有净土池。法堂位置犹存，但建筑已几经重建了。
宋英宗治平元年（1064年）官方曾赐“精进院”额，表明它在当时的佛教寺院中已有一定地位。
明弘治六年癸丑僧清隐重建祖堂，更名云堂。
明弘治年间（1488年－1505年）建清隐堂，后废。
明嘉靖年间（1522年－1566年）重修大殿。
明崇祯年间（1628年－1644年）僧豫庵扩云堂基，更名玄览斋，旁设两庑、前架照厅。乾隆元年废。
明时建迎熏楼在大雄殿西。后废。在大雄殿东北隅建关房，后废。
清康熙二十三年（1684年），僧显斋、景庵重修大殿，“前拔游巡两翼，增广重檐，新装罗汉诸天等相”，同时重修法堂、天王殿。于净土池四周立石栏杆，清前明御史颜鲸为净土池填“一碧涵空”四字。
康熙五十四年（1715年），住持显斋“鸠工庀材，培偏补陷，未数年而奂仑备美”。
乾隆十年（1745年）僧唯庵、体斋对大殿“移梁换柱，立磉植楹”，并重修天王殿。嘉庆元年（1795）重修大殿，改装罗汉诸天等相。
嘉庆十三年（1808年）移建钟楼于大殿东。嘉庆十五年（1810）新建鼓楼在于大殿西。
宣统二年（1910年）天王殿、东客堂毁于火。宣统三年，僧一斋重建。
民国二十年（1913年）僧一斋建藏经楼五间（下层为法堂）及西侧客房楼屋十间一弄。
1954年全国文物普查时南京工学院师生发现此古建筑，后经陈从周、刘敦桢教授核实为北宋建筑。
