中国历史博物馆壮观的建筑已使它成为北京市重要的地标，而它悠久的建馆历史又和宏伟的建筑相得益彰，它初建于1912年，至今已有近九十年的历史。
1912年筹建。1912年，在蔡元培（时任教育总长）的关心下，国立历史博物馆筹备处正式成立，聘请京师大学堂教授胡玉缙为主任，以国子监为馆址，开始收集各方文物。1918年迁入故宫前部端门至午门及其朝房，为救济灾民、失业工人及“为国伤亡”者，曾展出部分藏品，以门票收入赈灾。
1926年10月正式开馆。1926年，馆藏渐臻丰富，各类藏品已达26类，二十余万件，于午门辟陈列室，精选藏品，依类陈列，于同年10月10日正式开馆展出，当月观众即达45,020人，同时《国立历史博物馆丛刊》开始出版。
1929年8月改名为中央研究院北平历史博物馆。
1933年4月改为中央博物院筹备处北平历史博物馆。
1937年，抗日战争爆发，历史博物馆工作主要以保护文物，避免遭受战争破坏为主，进行了少量的图片、文物展览。
1945年8月恢复中央博物院北平历史博物馆旧名。 1949年10月改名为北京历史博物馆。1949年10月1日，中华人民共和国成立，本馆更名为北京历史博物馆，隶属中央人民政府文化部。社会各界人士纷纷向博物馆捐赠文物，总数达16962件，极大地丰富了馆藏。为适应新的历史形势，博物馆着手建立新的历史陈列，使博物馆真正成为民族的、大众的、科学的社会教育机构。
1950至1965年是历史博物馆的高速发展期，由裴文中、贾兰坡指导的“原始社会陈列”于1951年正式展出，该展览是我国博物馆最早运用历史唯物主义观点组织历史陈列的尝试。以此为起点，在党和国家领导人、文化部、文物局领导的热情关心下，以及全国各文博考古兄弟单位的大力支持下，“中国通史陈列”各个历史阶段陈列逐步完成并进行了预展，包括毛泽东主席和周恩来总理在内的党和国家领导人以及社会各界知名学者先后来馆参观、审查，不断完善通史陈列。
中国通史陈列自原始社会开始，至清朝灭亡结束，根据历史唯物主义的观点，结合中国历史发展特点划分历史阶段，其特征是以考古发掘及传世文物为基本展出材料，力求全面、系统地展现中国历史，这不仅在世界上是独一无二的，也是中国文博事业历史上具有划时代意义的重要陈列。
1958年8月国家决定建立中国历史博物馆。
1959年10月，位于天安门广场东侧的新馆大楼落成，北京历史博物馆更名为中国历史博物馆，与中国革命博物馆一起迁入新馆。中国历史博物馆由郭沫若先生题写馆名。1961年7月1日，“中国通史陈列”正式对外开放。1962年之后，通史陈列根据实际情况不断完善修改，并陆续编印了《中国古代服饰资料》、《中国历史博物馆藏彩釉陶俑选辑》、《中国历史博物馆藏青铜器》、《中国历史博物馆藏雕塑选辑》等书。1966年文化大革命开始，“中国通史陈列”暂时关闭。
1969年9月，中国革命博物馆和中国历史博物馆合并，改称中国革命历史博物馆。七十年代开始进行“中国通史陈列”的修改。此次修改在周恩来总理的亲自指示下进行，突出秦汉、隋唐、元明清三个历史时期的统一场面，同时将通史陈列下限延至“五·四”运动。1975年10月，修改后的“中国通史陈列”正式预展。1976年，粉碎“四人帮”之后，全馆各项工作逐步恢复展开，成功举办了著名的《周恩来同志纪念展览》，1978年1月，“中国通史陈列”对外开放。
自1978年始，中国历史博物馆进入了新的发展时期，制定了全馆八年发展规划纲要，除继续完善通史陈列和文物收藏工作外，还积极参加中外文物交流展出活动，相继出版《中国历史博物馆馆刊》、《历史与文物资料》等刊物及《中国古代史常识》、《简明中国历史图册》、《明蓝瑛花卉兰石册》、《中国古代史教学参考图录》、《中国历史博物馆》、《华夏之路》、《中国通史陈列》等图书，组织和参加了多项考古发掘，举办了多项轰动全国乃至全世界的文物展览，如“湖北随县曾侯乙墓出土文物展览”、“山西应县木塔辽代文物展览”、“医圣张仲景展览”、“中国南海沉船文物展”、“丝绸之路与茶之路”、“全国考古新发现精品展”等展览。
1983年，中国历史博物馆与中国革命博物馆恢复独立建制，将旧民主主义革命陈列划归中国革命博物馆。1984年，“中国通史陈列”进行了第二次修改，在一定程度上加强了对历代社会经济文化的表现。1988年至1997年，开始进行“中国通史陈列”的第三次修改，在各文博单位的大力支持下，从全国各地征调了近千件文物，绝大多数是近十年来新出土的具有重要历史价值的文物，同时，陈列形式也作了全新的设计。修改后的“中国通史陈列”原始社会至魏晋南北朝时期于1990年第11届亚运会开幕之日对外开放，“中国通史陈列”隋唐至明清时期也于1997年9月正式展出。
1987年考古部设立水下考古学研究室，开始水下考古的研究。1989年与日本合作，对广东南海海域进行调查，并于1990年正式成立中日中国南海沉船调查学术委员会，先后对广东、山东、辽宁等地水域进行调查。1997年，中国历史博物馆成立遥感与航空摄影考古中心，同德国波鸿鲁尔大学签订了合作开展现代航空摄影考古意向书，开始进行洛阳及内蒙古东部地区古代大型遗址的航空摄影考古勘察。在新的历史时期，为了更好的发挥博物馆教育大众的作用，中国历史博物馆的群众工作也进入了一个新的发展高潮，先后举办了“湖南中学生‘拥抱红太阳’夏令营”、“我爱北京天安门”活动月，在北京市各中小学和部分边远郊县举办了“中国近代史图片展”、“中国古代科技成就展”等图片展览。
1999年，为庆祝中华人民共和国成立50周年，展示五十年来文物考古工作取得的多方面成就，由国家文物局主办、中国历史博物馆和中国革命博物馆承办的“中国文物事业50年特别展览”于国庆节前在本馆中央大厅展出。同年该馆还成功举办了“盛世重光—山东青州龙兴寺出土佛教石刻造像精品展”，并参加了“雪域名珠—西藏文化展”和在法国举办的“中国文化周”的展览工作。为迎接21世纪的到来，同时也是欢庆新的龙年的到来，中国历史博物馆特别推出“迎千禧，贺辰岁—龙的艺术精品展”和“龙文化特展”，于2000年1月分别在北京和台北展出。相信在新世纪的曙光到来的时候，汇聚着古代文明与现代化气息的中国历史博物馆必将以全新的面貌展现于世人面前。
2003年2月28日，中国国家博物馆在合并中国历史博物馆与中国革命博物馆的基础上，正式挂牌成立。
