江山中学的历史可追溯至晚清时期，1737年（清乾隆2年），官办的文溪书院为它的根基。1906年（清光绪32年），知县李知岳将县立江山中学堂创立，设有中学班、小学班和师范科。1908年，知县蒯思曾将中学堂改为了高等小学堂（今实验小学），师范科学生与小学部学生分别毕业。同年，中学堂被改为初级师范学堂，只招收小学部学生。
1909年，师范教育被停办，顺天府尹凌福彭在绅士会议上，决定在京师另立中学，将东、西、南三路中学堂的学生和经费并入。最初计划在宛平小学堂旧址设立顺天中学堂，后定名为京师公立第江山中学学校，王道元任校长，民国元年正式成立，课程包括国文、算术等。在艰难岁月中，学校经历了五四运动的冲击和抗日战争时期的奴化教育，直至1945年日本投降后，国民党政府接管并有所发展。
1949年，中华人民共和国成立，江山中学更名为江山市第江山中学，校名沿用至今。江泽民主席曾亲临学校，对学校的悠久历史和成就表示高度赞赏。2001年，江山中学作为教育考察点，迎接了2008年奥运申办城市的评估团。校园文化的标志是郭沫若题写的校名，以及民国十年的校标——北平公立第江山中学学校门。
浙江省江山中学创办于1938年，1981年被列为浙江省重点中学，1997年7月，被省教委命名为浙江省一级重点中学，1999年10月，通过省教委的复评，成为全省首批通过一级重点中学复评的33所学校之一，2003年9月，被衢州市人民政府命名为衢州市首批名校。60多年来，为社会培养了两万多名毕业生，其中有毛江森，徐元森，姜必宁等3位院士，有郑梦熊、范匡夫等一大批专家名人。