李调元罢官后，回到家乡四川安县宝林镇（古名叫南村坝），在其父亲李化楠修建的醒园（今罗江县文星镇）居住期间。建楼一座，名曰“万卷楼”。书库建于乾隆五十年（1785）。其楼四周“风景擅平泉之胜，背山临水，烟霞绘辋川之图，手栽竹木渐成林。”他以赞赏的心情将万卷楼所在园林取名“ 园”，并赋诗：“园初筑亦悠然，地狭偏能结构坚。叠石为山全种竹，穿池引水半栽莲。拈花偶笑人称佛，戴笠行吟自谓仙。曾到名山游脚倦，此生只合老丹铅。”（《 园杂咏》）李调元万卷楼实际上是一座藏书十万卷（省称“万卷”）的庞大书库，时人称为“西川藏书第一家”。李调元诗：“我家有楼东山北，万卷与山齐嵯峨。”藏书“分经、史、子、集四十橱，内多宋椠，抄本尤伙”。李调元每天“登楼校雠”，手不释卷。
李调元万卷楼的宝贵藏书，应是他和父亲两代人不辞辛劳、辗转购求的丰硕成果。父子两人爱书成癖，尤喜藏书，只要遇到前朝珍稀本、善本，不惜重金求购。李化楠在浙江、河北任知县、知府时， 遍购古今珍贵书籍。李调元从浙江省亲返川，将父所购书籍船装航行数千里运回老家入书库。李调元成年后，购买珍稀、善本书籍也是他一生中最大的嗜好，在做官期间，“所得俸，悉以购书”。
李调元除了多年大量购买外，藏书中还有不少系其手抄版本。李调元有抄书之癖，凡家中所无之书，即借别人所藏图书抄写。他作京官时曾如饥似渴地广抄大内藏书。其藏书中，“御库抄本，无一不备”。
自刊而藏是李调元万卷楼藏书中的另一部分。他对刊刻前人著作极有兴趣，22岁时就自刻了《李太白集》，以后几乎刻书不断。他的《函海》、《续函海》、《童山诗集》、《童山文集》均有自刻本。
李调元万卷楼珍贵藏书，是四川文化史上的一大丰碑。这一巨大的宝库，不料于嘉庆初年尽焚于匪患。这是四川文化史上一重大损失。原来在嘉庆初，四川白莲教起事，各地警报频传，社会混乱。嘉庆五年（1800），当李调元全家避乱成都时，万卷楼“忽被土贼所焚”。李调元归来后，但见平地瓦砾飞灰。他当时悲痛欲绝，“收灰烬瘗之”，并吟诗纪实：
不使坟埋骨，偏教冢藏书。焚如秦政虐，庄似陆浑居。人火同宣谢，藜燃异石渠。不如竟烧我，留我待何如？云绛楼成灰，天红瓦剩坯；半生经手写，一旦遂成灰。獭祭从何检，尤杠漫逞才。读书无种子，一任化飞埃。（同治四年《罗江县志》卷三十五《外纪》）
万卷楼被焚后，李调元“意忽忽不乐”，终在嘉庆七年（1802）十二月悲痛万分地离开了人世。
清著名藏书家、文学家、戏曲理论家。字羹堂，一字赞庵、鹤洲，号雨村、墨庄、醒园，别号童山蠢翁。绵州（今四川绵阳）人。父李化楠，藏书已具规模。他幼即嗜书，10余岁借书抄录，在浙江余姚求学时，遍游书肆，对诗文、戏曲、经史无所不览。乾隆二十八年（1763）进士，授翰林院编修。不久，诏修《四库全书》，入馆任纂修。散馆授吏部主事，迁考工司员外郎，两度出任广东学政，擢直隶通永道。因得罪权臣和珅，被充军伊犁，以母老得释归，隐居家中20年以著述、藏书为娱。有志于收集巴蜀乡邦文献，为官时，苦心搜求典籍，建“万卷楼”，贮书达10万余卷。除保存古版精椠外，其他书籍广泛借阅，以奖掖后进为己任。嘉庆五年（1800），刊刻《函海》丛书，收书152种，大部分为川蜀先贤著述。分30函，一至十为晋至唐、宋、元、明诸人未见之书；十一至十六，专刻明代杨慎所著之书；十七至三十，为自著之书及各家已刻而流传不广的书籍，有诗文、史论、音训、剧话、曲话、词赋等，其中有关音韵、民歌、俗谚最有价值。编书目《西川李氏藏书簿》10卷，分经、史、子、集4门。另编有《万卷楼藏书目录》和《赝书录》。所藏书后为和珅党羽借白莲教起义军之名所焚。著有《童山文集》、《雨村诗话》、《蠢翁词》等，辑《全五代诗》、民歌集《粤风》。另有《诸家藏书簿》、《诸家藏画簿》各10卷。
