秦始皇二十五年（公元前222年），灵山县境属百越地，始皇三十三年（公元前214年），灵山县境属象郡地

三国时期，灵山县境为吴国辖地，黄武五年（公元226年），灵山县境属广州合浦郡地，黄武六年（227年），灵山县境属交州合浦郡地，晋，灵山县境属交州合浦郡地。

南北朝南朝时期，宋泰始七年（471年），灵山县境属越州，齐属交州，梁天监一年（502年），灵山县境属安州，陈仍梁制。
隋开皇十八年（598年），设南宾县，县治设于南宾寨（今旧州圩西南侧），南宾县为灵山县最早县名，属钦州。大业三年（607年），南宾县属宁越郡。唐武德五年（622年），南宾县属钦州总管府。

唐贞观十年（636年），南宾县县治移至峰子岭南（今三海镇棠梨村境内），同年，钦州州治从钦江县迁至灵山县旧州圩南宾寨（钦州州治遗址）。贞元十年（794年），南宾县改名灵山县，因境内有风景名胜西灵山（今称六峰山）而得名。

五代时，灵山县属钦州，钦州领五县：钦江、保京、内亭、遵化、灵山。

宋开宝五年（972年），废遵化、钦江、内亭三县，以其地并入灵山，灵山县仍属钦州，隶广南西路，宋治平二年（1065年）二月，诏徙灵山县县治于石六峰下（今六峰山东面），即今县城所在地。
元代，灵山县仍属钦州，至元十七年（1280年），灵山县隶属湖广行中书省海北南道钦州路总管府。明洪武二年（1369年），灵山县属钦州府，隶广东，洪武九年（1376年），灵山县属廉州，总属雷州府，隶广东，洪武十四年（1381年），改廉州为府，钦县复为州，灵山县仍隶钦州，随属廉州府，隶广东。 [4]

明正统五年（1440年），海北道兵备副使甘泽始筑灵山城。

清制散州不再领县，灵山县与钦州均属廉州府，隶广东。
清光绪十四年（1888年），清政府将县属秋风练（今钦州市钦北区的平吉等地）、博莪练（今钦州市钦南区的那丽、那彭、那思等地）、菩提练（今钦北区的那香、长滩等地）、青塘练（今钦州市钦北区的青塘等地）拨给钦州。

民国时期，灵山县先后隶属广东省钦廉道、广东省钦廉绥靖区、广东省南路绥靖区、广东省第八行政区。解放后，1949年12月1日成立灵山县人民政府，灵山县时属广东省南路专区，1950年8月30日属广东省钦廉专区，1951年2月19日，经中央人民政府政务院批准，将钦廉专区所属钦县、防城县、合浦县、灵山县、北海市委托广西省代管，1952年3月28日，钦州专区正式划为广西建制，灵山县属广西省，1955年7月1日，经国务院批准，钦州专区的钦县、合浦县、灵山县、防城县、浦北县、北海市又划归广东省建制，灵山县属广东省，1956年2月28日，灵山县属广东省合浦专区，1959年1月，灵山县属广东省湛江专区，经国务院批准，从1965年6月26日起，广东省湛江专区的灵山县、浦北县、合浦县、钦县、东兴各族自治县和北海市从广东省湛江专区分出划入广西，设广西钦州专区，灵山县随属广西钦州专区。

1994年6月28日，灵山县属广西钦州市。

1996年，灵山县面积3552平方千米，人口约118万人。辖19个镇：灵城镇、三海镇、新圩镇、丰塘镇、平山镇、石塘镇、佛子镇、平南镇、烟墩镇、檀圩镇、那隆镇、三隆镇、陆屋镇、旧州镇、太平镇、沙坪镇、武利镇、文利镇、伯劳镇。县政府驻灵城镇。
2000年第五次人口普查，灵山县总人口1140799人。其中：灵城镇45553人，三海镇85042人，新圩镇82389人，丰塘镇34505人，平山镇36667人，石塘镇39230人，佛子镇49812人，平南镇42910人，烟墩镇58371人，檀圩镇87025人，那隆镇84432人，三隆镇53959人，陆屋镇76749人，旧州镇75760人，太平镇88145人，沙坪镇40445人，武利镇58529人，文利镇27989人，伯劳镇73287人。
2005年6月28日，广西壮族自治区政府（桂政函[2005]180号）同意撤销三海镇，整建制并入灵城镇，灵城镇政府驻地不变。调整后，全县辖18个镇：灵城镇、新圩镇、丰塘镇、平山镇、石塘镇、佛子镇、平南镇、烟墩镇、檀圩镇、那隆镇、三隆镇、陆屋镇、旧州镇、太平镇、沙坪镇、武利镇、文利镇、伯劳镇。县政府驻灵城镇。

2013年，撤销灵城镇，设立灵城、三海2个街道办；同时，将附城、三多2个行政村改为社区（三多社区居委会已于7月30日挂牌成立）。