甘肃农业职业技术学院的历史可以追溯到1907年，当时兰州道彭英甲创建了“农林学堂”。学堂位于兰州萃英门内兰州举院东南角，1908年起招生，最初招收农科和林科学生，直至1911年宣统3年，培养出47名学生。学堂在1917年复办，更名为“甘肃省甲种农业学校”，归属甘肃省教育厅，此后招生规模不断扩大，增设专业。1941年增设高级合作科，1944年改名为“甘肃省立兰州高级农业职业学校”，进一步发展了农艺科、森林科和畜牧科。
新中国成立后，学校更名为“甘肃省兰州农业学校”，专业继续扩展，如作物栽培、造林、动物饲养等。1954年迁址并增设新专业，成为省级重点农业学校。1958-1959年，学校进行黄河支流治理，开创了养鱼新篇章。1960年，兰州农学院成立，成为全国农业学校的典型，举办蚕桑和淡水养鱼专业，成就显著。然而，学校在1962年因形势变化而停办，后迁至清水县并更名“甘肃省清水县农业学校”，期间为当地培训农民技术员和扩展教学设施。
1972年，学校再次更名为“甘肃农业职业技术学院天水地区农业学校”，并恢复招生。1985年，学校与“甘肃省农业科技学校”合并，恢复“甘肃省兰州农业学校”，并增设多元专业。在此期间，学校获得了“B类—级学校”的评估，教学设施和科研成果显著，与“三农”和农村建设紧密合作，办学规模和效益显著提升。
在近百年的办学历程中，甘肃农业职业技术学院培养了超过30000名农业技术和管理人才，为国家及地区农业发展做出了重要贡献。2004年，经省政府决定，学校改建为专科层次的“甘肃农业职业技术学院”，进一步明确了其教育定位和发展方向。
甘肃农业职业技术学院是甘肃省惟一一所省属公办的农 业职业技术学院，也是国家特有行业职业技能鉴定单位、省人事厅确定的专业技术人员继续教育基地和全国职业教育种植类专业示范学校。