645年，唐太宗李世民率军亲征高丽，将幽州作为兵马粮草的集结地。这年冬天，唐太宗自高丽战场返回幽州后，有感于随军战士为国效力，于是下令在幽州城内为阵亡将士修造一座寺庙，命名为悯忠寺。
675年，唐高宗再次下诏建寺。武则天登基后第三次下诏建寺，至696年佛寺建成。建成后的悯忠寺，就是法源寺前身。悯忠寺一度成为幽州地面上唯一的佛寺。
在寺庙下的廊道墙壁上有几块板子，其中一块上面有一首唐代德诚禅师的诗：千尺丝纶直下垂，一波才动万波随。
夜静水寒鱼不食，满船空载月明归。
悯忠寺自唐代建寺以来，由于其特殊的政治地位和宏大的建筑规模，与历代王朝结下了不解之缘。
唐末景福年间，幽州卢龙军节度使李匡威重修悯忠寺，并增建了一座面阔7间，上下3层的悯忠阁，成了幽州城里的标志性建筑。并留下了"悯忠高阁，去天一握"的谚语。可见这座阁楼的雄伟壮观。后世法源寺中的悯忠台，就有当年悯忠阁的风范。
辽代时，幽州升为南京，又称燕京，悯忠寺成为南京城内最重要的寺院，备受皇家重视。辽代皇帝多次在悯忠寺内斋僧建道场，北宋使者到南京，也往往住在悯忠寺，这里已成为皇家重要的行馆。这样一来，悯忠寺地位也随之提升，规模更为宏大。
1057年，幽州发生了一次大地震，悯忠寺被毁，辽朝皇帝在1070年奉诏修复，历时14年完工，形成了后世的规模和格局。
金代时，悯忠寺为燕京名刹，曾是女真人进士的考场。后在元末明初时寺院不幸毁于战火。
到了明代，悯忠寺经历4次修缮。明正统间年，寺僧相王容法师募资进行了修葺，这一次奠定了后世法源寺的基础。修复后，明英宗改额，敕赐"崇福禅寺"。