公元1094年，黄庭坚因编修《神宗实录》贬斥王安石新政，而遭新党再次罢黜出朝，被贬往黔州（今重庆市彭水县）。在这里，他有机会静心研读了杜甫描写两川(西川治成都、东川治梓州即今四川三台县)和夔州(今重庆市奉节)的大量诗作，认为两川夔峡杜诗颇具古代大雅诗的“宏远雅正”之风，推行杜风首先要推广杜甫的两川夔峡诗篇。因此，他“尽书子美两川、夔峡诗”，并想把亲笔书写的杜诗刻成石碑，存放在蜀中喜好诗文的人家，“使大雅之音久湮没而复盈三巴之耳”。
黄庭坚想要书刻两川夔峡杜诗保存蜀中的消息，被同样推崇杜诗的杨素获悉后，杨素就有了想法。宋哲宗元符元年（1098），黄庭坚迁徙戎州（今宜宾），杨素闻讯，便连忙带上一个作为见面礼的竹书橱，从古岷江码头乘船赶往宜宾拜会黄庭坚。老翁杨素恳请黄庭坚惠赐杜甫诗书，然后自己出钱请工匠镌刻成碑，并修建高阁大厦永久珍藏这些杜甫诗碑。黄庭坚是苏东坡的学生，曾客居眉山，一听眉山有人愿意实现自己的梦想，简直喜出望外。
半年后，杨素再赴宜宾，将黄庭坚书写的800多首杜甫两川夔峡诗带回家乡，马上请来数十名石匠刻碑。然后在他的家院右侧，修建了一座用来珍藏这些诗碑的高屋大堂，并用青石板铺筑了一条通往县城的石板路，以便各方人士前来观瞻读诗。这个地方距丹棱城南3公里，就是如今丹棱镇茶林村高庙沟上方的杨湾。
元符三年（1100年）9月，诗碑大堂全面竣工，杨素又去宜宾请黄庭坚为它题名。黄当然高兴，挥笔写下了“大雅堂”三个大字，并撰写《大雅堂记》，记录了杨素在故乡兴建大雅堂的起因、经过、结果和意义。有诗曰：“南安（今丹棱）多胜壮江山，白鹤儒林大雅堂。”
当时的大雅堂，宋式庙堂，斗拱建筑，内外流金溢彩，围墙足有1公里长。最初内设6个大殿，殿堂为红墙碧瓦，300多方诗碑陈列其间。正殿门楣上，镌刻黄庭坚手书大字——大雅堂。大雅堂所收的800多首杜诗，占了杜甫全部两川夔峡诗的80%。据说，杜甫在两川诗有470多首，夔州诗则有467首。杜甫在两川夔峡生活期间，正是诗人生平的一大转折时期，政治思想和诗歌理论创作都进入了一个新的境界，也是他一生中创作力最旺盛的时期，两川夔峡诗在数量上占了他一生诗作的三分之二。可以说，大雅堂是集唐代诗圣杜甫诗和北宋书法大家黄庭坚书法艺术为一体的诗书堂。
历经南宋、元、明各代之后，大雅堂又收藏了名家咏大雅堂的诗、词、文、赋上百件，洋洋洒洒，蔚为诗、书艺术大观。后世之人常以能否登大雅堂，来作为衡量和区别文学艺术作品雅正或粗俗的标准，成语“不登大雅之堂”遂由此产生。1497年（明朝弘治十年），一个叫荣华的巡按御史组织扩建大雅堂，增修了1个大殿，为杜甫、黄庭坚塑像贴金，并刻碑纪念。凡乘轿过此者，都要下而步行，以示敬意。大雅堂遂成“丹棱八景”之一。
为此，一些史学家称丹棱北宋大雅堂是中国诗歌的圣殿，丹棱是中国大雅文化的发祥地。从宋朝开始的历代国家级史志上都有相关记载，宋史《周益公大全集》、明史《永乐大典》、明朝《四川通志》等，都把丹棱大雅堂放在很高的位置。清代以来各种版本的《丹棱县志》均称，北宋丹棱杨湾大雅堂是中国唯一的大雅堂。
可惜，在明末清初连绵不断的战乱中，大雅堂被毁，诗碑散陷于山野泥土之中。《丹棱县志》（清乾隆版201页）载：大雅堂，（丹棱）城南三里，邑人杨素翁请黄庭坚书杜甫蜀中诗，刻石。作堂荫之。并恳为记，明弘治中，巡按御史荣华重新祠宇，立像勒石，知县江谦率众绅士往祭也，遂为故事。献逆后，堂毁，碑碣无存。
《丹棱县志》说“献逆后，堂毁，碑碣无存。”张献忠是在崇祯十七年（1644年）8月9日攻破成都的，之后很快控制了四川大部分地区的州县。是年冬，绝望之下，张开始在四川进行空前的烧杀破坏，残忍变态至极。清顺治三年（1646年）10月20日，张献忠在与清军交战时中箭身亡。因此，大雅堂被毁可能是在1645—1646年间。
