隋开皇十年，文帝杨坚北巡挖河道，获一巨石，似铁非铁，似石非石，色苍声铮，以为灵瑞，遂命名为“灵石”，割平周县西南地置为灵石县。

灵石县，于隋开皇十年（公元590年）置县，距今已有1400多年的历史，春秋时属晋；战国时先赵后魏；秦汉时，先属太原郡，后属河西郡；三国时属魏；晋时属西汉郡；隋初属平周县（今介休县）。

唐贞观元年（公元627年）废郡设道， 灵石县属河东道；北宋至道三年（公元997年）改道为路，灵石县属河东路汾州府。元至元二十三年（公元 1286年）创立行省，灵石县属中书省；明洪武九年（公 元1595年）改属冀南道汾府；清初属山西省平阳府。乾隆三十七年（公元1772年）设霍州，灵石县属霍州管辖，直至清末；民国三年（公元1914年）废州设道，灵石县属河东道。民国十九年（公元1930年）废道直属山西省。1938年成立灵西抗日县政府，归洪赵地区领导。1939年成立灵东抗日县政府，属太岳专区管辖。 1948年6月灵石县解放，成立县人民政府，属榆次专署。1958年灵石、介休、孝义三县合并为介休县，灵石县城改为灵石镇。1961年分县，恢复灵石县建置后 一直归晋中行署管辖。