山西是人类和华夏文明发祥的最早起源地和中心区域之一。[6-9]

考古表明，远古时代，山西南部是人类初曙的起源地。运城垣曲县“世纪曙猿”化石的发现，把类人猿出现的时间向前推进了1000万年。约在180万年以前的旧石器时代早期，原始人群就在山西晋南地区繁衍生息，其中运城芮城县西侯度文化遗址发现的火烧骨，把中国范围内发现的人类用火历史向前推进了100万年；约在10—2万年以前的旧石器时代中期，在山西汾河两岸和大同、朔州一带，已经出现了比较集中的原始人群和村落。新石器时代晚期，山西南部已经成为当时诸多邦国的中心。对临汾襄汾县陶寺遗址发现和研究成果表明，这里是帝尧都城所在地，也是最早的中国所在区域。这使大致在距今4500年前后中国史前传说的尧舜禹时代由传说成为信史，中华5000年文明史由此得到证实。

大禹去世后，其子启继位。夏朝早期的统治中心在今山西晋南夏县一带，今夏县东下冯遗址是重要的夏墟。

商朝时，山西南部在其“邦畿千里”之内，其余地方则散布着十几个方国部落。

西周初期大规模分封诸侯，山西中南部为十余个诸侯的领地，其中主要诸侯国是晋国。

春秋时期，晋国发展强大，逐步兼并了周边小国，成为春秋五霸之一。晋国极盛时期的疆域，大约包括今山西中南部、河北西南部、河南西北部和陕西东部，设置有50余县，其中山西境内有10余县。晋国是郡县制的起源地，后来秦将这种制度推广向全国。

周定王十六年（前453年），晋国卿族赵、魏、韩三家三分晋国，史称“三家分晋”。赵、魏、韩三分晋国，成为实际上的三家诸侯国。在山西，赵国辖中部、东北部、东南部少部，魏国辖西南部、东南部少部，韩国辖东南大部和西南少部。起初，赵国的都城在晋阳（今太原晋源区东北），韩国的都城在平阳（今临汾尧都区），魏国的都城在安邑（今运城夏县北），后来随着疆域的扩大移向河南、河北。周威烈王二十三年（前403年），东周天子正式承认赵、魏、韩三家为诸侯，中国历史由此开始进入战国时期。山西分属赵、魏、韩三国领地。

秦始皇二十六年（前221年），秦统一六国，定都咸阳（今陕西咸阳东北），建立了中央集权制度，地方实行郡县制，把全国划分为36郡，后又不断增设到40余郡。今山西及周边河北、内蒙一带为河东、太原、上党、雁门、代、云中6郡分辖，其中代、云中2郡治所不在山西，山西境内置有70余县。

西汉基本沿袭秦代郡县制，地方实行州郡县制，全国划分为13州。今山西及周边陕西、河北、内蒙一带为并州、幽州、司隶州（京畿长安范围）3州领属，并归太原、上党、雁门、西河、代、河东6郡分辖，其中西河、代2郡治所不在山西，山西境内置有90余县。

东汉地方建制基本沿袭西汉。西汉末东汉时期，北方少数民族匈奴、羌、鲜卑逐步内迁进入山西，并发展强盛起来。到东汉中期，山西北部、中部、西部成为多民族聚居地区。

魏晋南北朝初期的三国时期，今山西全境属魏国。西晋末年，西晋永安元年（304年）匈奴酋长刘渊起兵左国城（今吕梁离石区）建国“汉”，不久迁都平阳（今临汾尧都区），建立北方第一个少数民族政权。随后其子刘聪打下长安（今陕西西安西北）灭西晋，由此开始中国历史上一百多年的“五胡十六国”割据一方的局面。在此期间，山西境域为刘渊族侄刘曜创建的前赵、羯族首领石勒创建的后赵、鲜卑族首领慕容皝创建的前燕、氐族首领苻洪创建的前秦、氐族贵族姚苌创建的后秦、鲜卑族首领慕容泓创建的西燕、鲜卑族首领慕容垂创建的后燕、匈奴部族首领赫连勃勃建立的夏国、鲜卑族首领拓跋珪创建的北魏等国的领地。

北魏太延五年（439年），北魏统一黄河流域，结束了北方四分五裂的局面，山西为北魏领地。永熙三年（534年），北魏分裂为东魏、西魏，山西绝大部分为东魏领地，南部余部为西魏领地。后来，北齐取代了东魏，北周取代了西魏。北周建德六年（577年），北周灭北齐，山西统一为北周领地。

隋朝建立和统一全国后，起初在地方取消了郡一级建制，在要冲诸州设总管府，以州刺史兼总管，统领邻近数州。山西境内并、代、隰、朔4州设总管府。后来隋又改州为郡，地方实行郡县两级制，最多时全国置190郡。山西及周边河北、内蒙一带为太原、定襄、马邑、雁门、娄烦、西河、离石、上党、长平、临汾、龙泉、文城、河东、正平14郡分辖，其中14郡治所均在山西，山西境内置有90余县。

唐高祖李渊起兵太原，建立了大唐王朝，由此，山西被唐高祖认为是“龙兴”之地，封太原为唐王朝的“北都”、“北京”。

宋朝时期，山西是中国北方的主要发达地区。

元代，全国共11个行省，山西与山东、河北，并称为元朝“腹地”，大同、平阳（今临汾）、太原三城则成为黄河流域的著名都会。

进入半殖民地半封建社会以后，山西的经济、文化发展受到严重破坏。

山西作为革命老区，在民国十年（1921年），中国早期的马克思主义者高君宇在太原组建社会主义青年团，开展革命活动。红军长征到达陕北后，毛泽东率领红军主力渡河东征，在晋西、晋中、晋南各地遍撒革命火种。

抗战爆发后，八路军三大主力挺进山西，创立了敌后抗日根据地。十四年抗战中，山西是全国抗战的重要战略支点；山西地方党组织培养了15万名共产党员，根据地向八路军输送了60万热血青年。

民国三十八年（1949年）4月，山西全省解放。9月，成立了山西省人民政府。[9]