“山东”“山西”的名称自古就有，但是和现在的省份“山东省”“山西省”的含义并不相同，所以这分别“山东”“山西”的“山”也不一样，唐宋以前，区分山东、山西地区的山是崤山或华山，现在分别山东省、山西省的山则是太行山。
战国至唐宋，人们以崤山（今河南省三门峡市东南）或华山（今陕西省华阴市）为界区分山东、山西地区。当时的“山西”是指函谷关以西地区，即以今陕西西安为中心的地区，与今天山西省无关；当时的“山东”，主要指函谷关以东的黄河流域，有时也泛指战国时期秦国以外的六国领土，今天的山西省地区是包含在山东地区的。战国时期，诸侯国将“山东”视为诸夏即是华夏民族，而将“山西”视为戎狄外族。两汉时期，还广泛使用这种说法，班固在《后汉书》中总结各地所出人才的规律时指出：“山西出将，山东出相。”
随着时代发展，中国各朝的行政区划也不断变化，历史版图随历史格局变化发生改变，作为地名，山东、山西的区域也发生了变化。人民开始以太行山为界区分山东、山西地区，但是山东、山西地区依旧并不专指现在的山东省、山西省，所包括的范围依旧比现今的两省区域要大。以太行山为界来区分的山东、山西，又称为山左、山右，山西地处太行山之西、之右，山东地处太行山之东、之左。
《后汉书·邓禹传》记载邓禹平定了河东地区后，光武帝刘秀下诏称赞邓禹“斩将破军，平定山西，功效卓著”。范晔在后论中讲到，邓禹“中分麾下之军，以临山西之隙”。这里说的“山西”就是今山西省所辖范围，但是这里的“山西”虽然包括了山西省，但是并不是行政区划，仍是地域名称。李渊在大业十一年（615年）被隋炀帝杨广封为“山西河东慰抚大使”，命其到山西河东黜陟讨捕，这里的山西河东都包括了今山西地区，但仍旧不是行政区划。
金朝占领黄河以北后，金人在今山东省设山东东路、山东西路，山东由地区名称变为行政区名称。山东开始专指齐鲁大地即今山东省区域，但是这种说法还并不普遍。而山西作为行政区名称则是到了元代才设立，当时，因京师蓟门之西有太行山，所以把太行山之西的政区设置为河东山西道。
明代，朝廷初设山东行省，后改为山东布政使司；在山西，改元朝河东山西道设山西行省，后改山西布政使司，两地简称为山东省、山西省。清代设立山东省、山西省，山东、山西作为行政区划名称定型。
如果是以现在来看，大多数人都公认山西山东的划分方式是以太行山这一座山而命名的，但是古代山东山西之间的山概念是不一样的，曾经用过崤山，泰山，恒山，甚至是华山等多个山来划分，因为古代山西山东的地理位置和今天的是完全不一样的，古代的山东地理位置似乎更接近现在的河北。
看过中国地图的，相信大家对每个省份的名字都比较了解，很多省份距离不算太远，所以名字也是比较接近的，比方说河南河北，湖南湖北，广东广西，还有山东和山西，如果说河南河北主要黄河分界，湖南和湖北就是由洞庭湖来分南北的，但是山东和山西很多人就不知道是靠哪一座山来分东西的，可能有不少人认为是太行山，而山东在古代是属于山东六国当时战国七雄当中除了秦国，另外六大强国就是山东。
山东六国当中的山，指的实际上是崤山，这一座山是地处秦岭东段附近规模比较大的一段支脉，现在这座山地处河南的西北部，也是山西南部的边界，崤山的地理位置。看上去似乎也不是山东山西的分界，而除了这座山以外，还有人是认为山东山西应该用华山为界，华山东部的地方称作为山东，但是华山的位置就更往西面了，地处关中平原的东部，所以说更不可能是山东山西的划分依据，其实这个说起来还是很难找到这个“山”的。
关键原因就是古代山东山西的位置和现在的山东山西是不一样的，古代的山东可能是现在河北一带，而并非是今天的山东，所以太行山这一个依据还是比较符合地理位置的，所以现在基本上大多数人都认为山西山东的划分方式就是以太行山脉为准，但是古代山东山西的划分标准可和现在完全不一样，刚刚说的崤山，泰山甚至华山都用过。