1905年11月，山东省学务处议员宋恕拟就《粹化学堂办法》，上书山东巡抚杨士骧，请求在山东创办“粹化学堂”，同时请创建“海岱大图书馆”及阅报室，不久又提议，将图书馆及阅报室设在大明湖公园内。此动议后因经费紧张及宋恕、杨士骧先后离开山东，未及实现。
1909年，图书馆建于大明湖畔，典型的馆园结合式建筑，是全国建立较早的省级公共图书馆之一，初建时称“山东图书馆”。图书馆创办之初实行坐办制，1913年9月改为馆长制。
1915年冬，改馆名为“山东公立图书馆”，隶属山东省长公署。
图书馆早期典藏包括四部分：一是书籍，购置各省官书局出版之书，家刻坊版之善本，或以馆中自印书籍与各省官书局交换。1916年馆藏13万卷。此后受经费所限，加之1928年“五三惨案”，藏书遭炮击，损失大半，仅余62770册；二是金石古物，设山东金石保存所储之；三是书画碑帖，罗正钧以提学使名义，通饬各县，就所在石刻，每石拓送一份；四是书板，包括山东官书局版片，仍照旧印售，凡书106种，16983片。编有《山东图书馆辛亥年藏书目录》、《山东图书馆重编书目》等。
1929年夏，山东图书馆改称山东省立图书馆，隶属于省教育厅。时任山东省教育厅厅长何思源任命著名学者王献唐为山东省立图书馆馆长。王履新后，即着手改组，重新厘定工作计划，修订馆章，清点馆藏，修缮馆舍，申请经费，购置新书，注重齐鲁乡邦文献的收藏。自是年起至1937年抗战爆发前夕，山东省图书馆迎来了一段事业上的辉煌时期。孔德成先生在1994年撰写的《王献唐先生墓表》中称：“不数年，馆誉鹊起，当时盖以为仅次北平图书馆云。”
1931年创办《山东省立图书馆季刊》和《山东省立图书馆丛刊》，为使新旧图书分类收藏，各适其位，索检便捷，1932年编成《山东省立图书馆图书分类法》。 抗日战争爆发后，省图书馆的建筑、设备、藏书都遭到了严重损失。1937年12月，日军侵占济南，该馆惨遭抢掠焚烧，玉佩桥以东的“海岳楼”、“宏雅阁”等建筑全部付之一炬，留存馆内的图书文物损毁殆尽。
1938年5月起，日伪政权派人修理残毁房屋，在“海岳楼”旧址改建“抱壁堂”，搜集散佚图书，补充新旧书籍。
为使珍贵典籍文物免遭涂炭，王献唐与屈万里选善本及金石书画精品装为三十一箱，分别于1937年10月12日至15日、10月23日、12月20日，分三批运至曲阜孔德成奉祀官府内。又从第一次所运十箱中选出宋元秘本、唐人写经、商周铜器、秦汉瓦当、明清瓷器等装成五箱（余留奉祀官府），于1937年12月27日，王献唐、屈万里与工友李义贵三人携载远徙。
途经铜山、郑州、武汉，在四川万县停留数月，于1938年11月24日，终将图书文物运至乐山大佛寺天后宫中保存，行程凡七千余里。抗战胜利后，被国民党军队占据，先为行辕，后为军火仓库。
在经历了十余年的战火与各种困难局面的考验之后，1950年底，保存在曲阜、乐山两地的珍籍文物完好运回故里，王献唐等人受到文化部的表彰。因历史原因，这批珍贵文物分藏在该馆和山东省博物馆。 1948年9月，济南解放，经过整顿修复，于1949年4月正式开馆，先隶属山东省文教厅，后隶属山东省文化厅。馆内设采编、图书保管、阅览、书目参考、特藏、研究辅导6部和办公室。
1959年，该馆面积达8000平米的“遐园”除抱璧堂外连同古碑刻被划拨给大明湖公园，原有建筑全部拆除，金石碑刻也在文革中被破坏。1963年在奎虚书藏楼前建青砖围墙与公园隔开，中间以飞檐大门相通。
该馆恢复开馆之初，馆内残存的书籍加上一部分国民党官僚机构和私人藏书以及新购图书，共计30余万册。为了尽快将这些书分编上架，1949年7月，副馆长刘惠吾主持编写了《山东省立图书馆分类新法》，1950年1月推出油印本。它是是建国后编制最早的图书分类法之一，被称为“山东法”。这一时期，该馆通过扩大馆内外阅览场所、组织读书小组、兴建图书阅览站、延长开放时间等一系列措施，以及举办报告会、朗诵会、座谈会，办读者墙报等活动。同时举办各类业务学习班。
1952年，更名为“山东省图书馆”。多年来采用阅览、外借、解答咨询、复制、举办展览会、报告会等形式为社会服务。
历时十载的“文化大革命”使图书馆事业遭到极大破坏，该馆业务工作基本上处于淹蹇停滞状态，直至文革结束。 1974年，建成了建筑面积2000平方米的书库楼。
1979年6月成立了山东省图书馆学会，涵盖全省公共、高校、科研等系统的图书情报单位。1981年9月，创办《山东图书馆季刊》。
1984年9月，新建的阅览楼正式启用，设有普通阅览室2个，中文报纸、中文期刊阅览室各1个，外文、文献检索、古籍阅览室各1个，社会科学、自然科学借书室各1个。
1985年，有阅览座位600余个，持证读者2.2万余人，藏书330万册，馆舍面积约1.04万平方米，工作人员117人，年经费109万元。
1994年引进图书馆自动化管理系统，1995年建立光盘数据检索系统，1997年组建了局域网，1999年建立电子阅览室，2000年扩充了计算机网络。主编《社会主义精神文明文献索引》，编纂《易学书目》、《山东省图书馆馆藏海源阁书目》、《馆藏革命文献书目》等。
2002年10月8日，山东省图书馆新馆开馆典礼在新馆知识广场举行。由中国国家图书馆与山东省图书馆联合建设的“全国联合编目中心---山东省分中心”于2003年8月8日正式成立。
2004年11月13日顺利通过文化部全国公共图书馆评估定级，被定级为一级图书馆。
