1906年(清光绪32年)成立的山东高等农业学堂，创建于济南桑园，分设农、林、蚕三科，学生多为秀才，毕业后可直接出国留学。1913年改名为山东公立农业专门学校。1926年奉系军阀督办张宗昌将山东公立农业专门学校一一农专、工专、商专、矿专、医专、法专等五所专门学校合并，成立了山东大学，校址济南，其中公立农专成为省立山东大学农学院。1928年因“五卅惨案”学校停办。同年省立山东大学农学院改为国立山东大学农学院，迁址青岛。1937年因抗战爆发，学校由青岛迁四川万县办学，1946年抗战胜利迁回青岛复校设文、理、农、工、医五个学院。当时的山东大学农学院设农艺、园艺、水产三个系及一个农场。同一时期，1947年山东省立农学院在济南原公立农专旧址宣告成立，院长阎若闵，校址济南桑园，设有农艺、园艺、森林、农业经济四个系，后改名为山东农学院，共有学生120名，教职工39名。
1948年9月济南解放，我人民政府将原山东省立农学院与山东省立高级农业职业学校一并接收，此时农学院有农艺、园艺、森林、经济四系，学生200多人，同年12月又将山东省人民政府实业厅在青州举办的农林专科学校合并于农学院，当时设五个系，刘春安为代理院长，全院教职员工达1493人，共有学生1216人，并建立党支部和团总支，1949年4月刘院长随军南下，山东省农林厅副厅长耿光波兼院长，华山任副院长。同年11月又将黄河水利专科学院合并于山东省立农学院，共有学生900多人。1950年5月耿光波调中央农业部工作，由山东农业厅厅长仲星帆兼任院长，同年10月改称山东农学院，设农艺、园艺、森林、农业化学、农田水利、畜牧兽医等系及牧医，测绘、水文、森林等专修科，全校共有学生500多人，教职工220多人，图书馆藏书16604册，经费(折人民币)118956元，农场耕地面积345亩，山地1200亩分布在千佛山、马鞍山、燕子山等地带，供教学实习用。
1952年9月随着国家建设的需要，根据国家教育部关于院系调整的意见，山东省立农学院与当时的山东大学农学院合并，同时调入齐鲁大学农业专科、金陵大学园艺系、南京大学园艺系果树组，组成了新的山东农学院，设农学、园艺、林学、畜牧兽医、农业化学、农田水利、植物保护等七个系七个专业，还有食用作物、特用作物、林学、畜牧兽医、水利五个专科，院长陈瑞泰，副院长华山，共有学生700多人，校址在济南。新的农学院汇集了陈瑞泰、李家文、丁巨波、王清和等一大批国内外知名的专家教授，经他们数十年不懈的努力，为学校和学科的发展建设奠定了坚实的基础。
1953年11月为了加强党对学校政治思想领导和保证监督党在学校方针政策的贯彻执行，经山东分局批准成立中共山东农学院委员会，党委书记华山，下设五个支部，共有党员122人，在学校各项工作中起到了骨干带头作用。
1954年开始招收蔬菜专业研究生，实习农场也逐渐扩大，共有土地7024亩(济南东郊和北郊五柳闸)。
1958年根据省委指示，学校迁址泰安，由山东农学院、山东林学院、山东畜牧兽医学院、泰安农业专科学校、泰安水利学校合并建立山东农业大学，1959年改称山东农学院。学校占地总面积1000多亩，农场土地1472.115亩，1961年退还当地农民一部分，给山农留下847.14亩，不及当年在济南农场面积的1/8，现在校本部占地585亩。
1960年将果树、蔬菜分为两个专业，并增设农业经济管理和农业机械化两个系和专业1962年农业经济管理专业停止招生，农业机械化专业合并于山东农业机械化学院（后更名为山东工程学院，今组建为山东理工大学）。
1972年经省农业局批准增设蚕桑专业，1976年和1978年经山东省教育局批准，农机系和农经系先后恢复并开始招生。1983年经省教育厅批准增设遗传育种、农业教育等专业。
1983年9月，将原山东农学院更名为山东农业大学，原院长陈瑞泰为校长，王成旺仍为党委书记。1984年1月份学校领导班子调整后由施培任校长，副校长为薛坚、李永昌，党委书记刘龙驹，副书记李毓椿，顾问陈瑞泰。1985年9月，刘洪森任副校长。1993年，校领导班子调整为：邹琦任校长，冯承明、孙增良、吴绍麟、李正明、刘洪森为副校长，李毓椿为党委书记，李培华为副书记。
1999年7月，经山东省人民政府批准，将山东农业大学、山东水利专科学校合并，同时将山东省林业学校并入，组建新的山东农业大学。
