中国科学院合肥物质科学研究院的历史沿革中，各研究所各有所长，为我国科技发展作出了重要贡献。
成立于1970年12月的安徽光学精密机械研究所，经过三十多年的发展，如今在大气光学、环境光学、环境监测技术和激光技术等领域取得了显著成就，承担了大量国家重点科技攻关项目，例如激光大气传输、激光探测等，并开发出系列高技术产品。
1978年9月的等离子体物理研究所则专注于核聚变研究，成为中国主要的核聚变研究基地之一，拥有HT-7超导托卡马克核聚变实验装置等先进设备，其离子束生物工程领域也日益成为一门新兴交叉学科。
1982年3月成立的固体物理所，由葛庭燧院士担任首任所长，专注于凝聚态物理和材料物理研究，拥有一流的实验设施和研究团队，科研成果丰硕，是国家"九七三"项目的首席科学家单位之一。
合肥智能机械研究所创建于1979年，前身是华东自动化元件及仪表研究所，作为传感器技术和智能技术的重要基地，致力于厚膜敏感材料、化学传感器等领域研究，同时是国家重要实验室的依托单位。
强磁场科学中心成立于2008年，目标是建设国际先进的强磁场实验条件，进行多学科前沿探索，并发展相关技术。在“十一五”期间，中心主要致力于稳态强磁场实验装置的大科学工程项目。
先进制造技术研究所，作为合肥研究院下属的研究机构，位于常州，专注于机器人与智能装备领域，由常州机械电子工程研究所、合肥智能机械研究所智能车辆技术中心和常州现代设计与制造中心合并而成。
中国科学院合肥物质科学研究院的前身是成立于1978年的中科院合肥分院，合肥分院拥有四个研究所，是一个以基础研究和高技术应用和开发研究并重的基地型分院。由成立于七、八十年代的中科院安徽光学精密机械研究所、等离子体物理研究所、固体物理研究所、合肥智能机械研究所和原中科院合肥分院五个独立法人单位整合而成。