976年，朱洞以尚书的身份出任潭州太守。他在原僧人办学的遗址上，在岳麓山下的抱黄洞附近，正式建立起了岳麓书院。书院初设讲堂5间、斋舍52间。岳麓书院一开办，就受到了官府的支持。书院经过不断兴建，也多是由地方官员主持，逐渐形成了岳麓书院办学的一个特点。999年，李允则任潭州知州。李允则本是儒臣，是唐济南团练使李谦溥之子，少时就以才略闻，后以荫补官。李允则在任职期间，所到之处都致力为民办实事，“民皆称便”。
李允则任潭州知州后，对兴教办学身体力行。岳麓书院在他的主持下，很快获得了扩建。他“尽获故书，诱导青衿，肯构旧址。外敝门屋，中开讲堂，揭以书楼，序以客次。塑先师十哲之象，画七十二贤……”还辟水田“供春秋之祀典”，使书院得到了进一步发展。
在此时期，岳麓书院正式定额为60余人，其他从学者不在此数，声名逐渐传播于三湘衡岳之间。
1001年，李允则上奏朝廷，为岳麓书院修筑舍宇，并且还请得国子监的《释文》、《义疏》、《史记》、《玉篇》和《唐韵》等典籍。这是岳麓书院首次得到朝廷的赐书，引得四方学者纷至沓来。从此，“岳麓书院”成为北宋四大书院之一，名闻天下。北宋王禹在《潭州岳麓书院记》中赞誉道：“谁谓潇湘？兹为洙泗。谁谓荆蛮？兹为邹鲁。”把岳麓书院比之孔孟之乡的“洙泗”、“邹鲁”，潭州从此有了“潇湘洙泗”的美名。
李允则扩建后的岳麓书院，标志着岳麓书院讲学、藏书、供祀3个组成部分的规制的形成以及学田设置的开始，从而奠定了书院的基本格局。讲学是书院规制的首要内容，它包括讲堂和斋舍。讲堂是老师讲学论道的地方，斋舍除供学生住宿外，又是平时读书自习的场所。
李允则扩建书院时，确定了讲堂在书院的中心部位。以后书院屡有衰落和发展，中间设讲堂这一布局特点始终未变。藏书与书院的名称及由来有着密切联系。书院在唐代主要指藏书、校书之地，到宋代形成教育机构，但收藏图书典籍这一特点依然没有改变。
书院收集图书，正式建立了藏书楼，并将国子监经书藏于书楼。以后，岳麓书院又多次请得历代朝廷所颁经籍，藏书楼又有“藏经阁”、“尊经阁”、“御书楼”等名称，且大都安置在书院的显要位置，而且藏书楼是书院中唯一的楼阁建筑，显示出书楼在书院的崇隆地位。供祀部分也是书院的重要内容。李允则扩建书院时设置了“礼殿”，“礼殿”又称“孔子堂”，并“塑先师十哲之像，画七十二贤”，增建了颇为隆重的祭祀设置。
此后，书院的祭祀很快发展为一种有特色的形式，它不仅供祀先师孔子，还供祀本学派的大师、有功于本书院的乡绅名宦，以及可仿效的忠臣、学者等。这样，书院的祭祀就发展为推崇学统、标榜学派，及对学生进行道德、礼仪教育的一种重要形式。
1012年，周式任岳麓书院首任山长，他“学行兼善，尤以行义著称”，引得四方学子汇聚于此。
1015年，宋真宗赵恒认为岳麓书院办学很好，于是便召见周式，拜其为国子监主簿，请他留在京城讲学做官。但周式坚持回岳麓执教，不想留在京城做官。宋真宗感其品格高尚，赐周式鞍马，并亲手题赐“岳麓书院”牌匾。
周式将御匾带回岳麓书院后，将之悬挂于书院大门的正上方。岳麓书院从此称闻天下，“鼓笥登堂者相继不绝”。岳麓书院在周式的执掌下，从学人数和院舍规模都有了很大的发展，开启湖湘一脉浓厚学风。周式故后，乡贤云集追悼。
北宋时，长沙的南半部从长沙县划分出来，设置善化县，这“善化”之名因岳麓书院之盛，取意于“彬彬向善，倡化邑人”而得名。在北宋岳麓书院的发展史上，不能不提到一位官职不高却很有见地的人，他就是朱辂。朱辂生于1070年。1097年，朱辂登进士第。他初任湘阴县尉时，中书梁子美持宪节代皇帝巡视地方，军政令极其威严，地方官都惧怕他，不敢接近。但是朱辂却以小小的县尉身份，主动晋见。梁中书见他谈吐风生，胆识过人，颇有见地，是个难得的人才，于是想要推举他。此时，湘阴县知县魏洙因旷废职责，要降为邻郡主簿。得到消息后，朱辂着官服持笏，到梁中书府衙中，对中书大人说：“魏知县治理虽然不像样，但也没有罪过。现在知县受降职处分，而我却蒙推举升官，人们都会说我出卖知县。请您停止对我的推举而宽待知县。”听朱辂如此一说，梁中书就更加赏识他了，于是便向皇帝推举了他，没有治魏洙的罪。
原先，长沙知府张舜民奏准从长沙县分5万户另立善化县，并亲自立了碑。当朱辂任善化知县时，朝廷臣僚分裂，互相倾轧，失势的派别被斥为朋党，遭到打击贬谪。张舜民被列为朋党之列，被贬至郴州任监税小官。
于是有人趁机要推倒这座碑，但是朱辂不同意，他说：“这碑仅仅记录了设置善化县的由来，当时没有反对意见，现在有什么理由要推倒它？”于是这座碑保留了下来。
不久，朝廷派来使者，告诉朱辂说要将岳麓书院改为鼓铸厂。朱辂冒着杀头的危险，以“乡校不可毁”为由，抗旨不行。结果，朱辂虽官微言轻，但由于岳麓书院早已名声在外，朝廷也只好作罢，岳麓书院也就得以留存了下来。
北宋后期，岳麓书院被纳入到了“潭州三学”的教育体制中。所谓“三学”，就是潭州州学、湘西书院、岳麓书院三位一体，分成3个等级，学生通过考试，以积分高下逐级安排升舍。官办州学学生考试成绩优良者可升湘西书院，最高者方可升至岳麓书院。从北宋开始，岳麓书院名副其实地成为地方的高等学府。