孝义襟吕粱带汾水，地势总体呈西高东低。整个地区因地质结构不同而分为西部的山区，中部的丘陵和台塬区，以及东部的平原区。

孝义的西部山区山川壮丽，景色万千。其山地为石灰岩千石山区，属吕粱山脉。山顶浑圆，山脊起伏，山坡呈阶梯状，沟谷切割陡峭，地表大部分被灌木覆盖，主要山峰有龙盘山、凤凰岭等，海拔1200～1400米，最高峰薛颉岭海拔高达1777米，为孝义第一高峰。山区面积为147.64平方公里，占总面积的15.61%。

中部地区一部分被黄土覆盖，形成典型的黄土丘陵地貌，沟底基岩出露，丘陵区地形破碎，墚峁相连，重峦叠嶂，梯田遍布。黄土丘陵区面积442.26平方公里，占总面积的46.76%。中部地区的另一部分由于河溪洪水的切割，被切割为长墚状台塬地貌。台塬面开阔平坦，地势呈北东向倾斜，沟谷深切，谷底有溪流，塬面和缓坡面多作为农田，处少数太塬平地可资灌溉以外，大部分耕地为旱田，面积为182.73平方公里，占总面积的19.32%。

东部为太原盆地的组成部分，地势平坦，水源丰富，土壤肥沃，灌溉方便，是孝义的主要粮棉产区，该部分面积为173.17平方公里，占总面积的18.31%。