宋置憑祥峒。明洪武十八年（1385年）改憑祥鎮(zhèn)，永樂二年（1404年）五月升為憑祥土縣，成化十八年（1432年）改為憑祥土州。清宣統(tǒng)二年（1910年）憑祥土州改流置憑祥廳。民國初（1912年）改為憑祥縣。

1951年5月，寧明、明江、憑祥三縣合并為鎮(zhèn)南縣。1952年鎮(zhèn)南縣與思樂縣并為寧明縣。1955年7月，劃憑祥為縣級鎮(zhèn)，與寧明縣分治。1956年11月16日，憑祥鎮(zhèn)改為縣級市。

1958年12月，寧明縣、龍津縣、憑祥市合并為睦南縣，縣政府駐憑祥鎮(zhèn)。1959年5月10日，睦南縣又分為寧明縣、龍津縣。時憑祥降為寧明縣睦南公社，對外仍稱憑祥市。

1961年5月27日寧明縣復(fù)析出縣級憑祥市。2002年12月23日，國務(wù)院批準(zhǔn)同意撤銷南寧地區(qū)設(shè)立地級崇左市并調(diào)整南寧市行政區(qū)劃，原南寧地區(qū)縣級憑祥市由廣西壯族自治區(qū)直轄。2003年1月自治區(qū)批準(zhǔn)崇左市代管憑祥市。

1961年轄隘口、睦南、竹山3個公社。1966年10月，龍州縣平而大隊劃歸憑祥市。1981年6月18日，經(jīng)國務(wù)院批準(zhǔn)，寧明縣夏石公社劃歸憑祥市。1984年，撤銷公社改為鄉(xiāng)鎮(zhèn)，全市建立3個鄉(xiāng)，34個村民委員會，1個街道辦事處，6個街道居民委員會。1996年，憑祥市轄5個鎮(zhèn)：憑祥鎮(zhèn)、友誼鎮(zhèn)、白云鎮(zhèn)、上石鎮(zhèn)、夏石鎮(zhèn)。

2000年第五次人口普查，憑祥市總?cè)丝?07046人。其中：憑祥鎮(zhèn)46786人，友誼鎮(zhèn)11153人，白云鎮(zhèn)11199人，上石鎮(zhèn)15999人，夏石鎮(zhèn)21909人。

2003年1月26日，廣西壯族自治區(qū)政府同意撤銷白云鎮(zhèn)建制，并調(diào)整憑祥鎮(zhèn)和友誼鎮(zhèn)行政區(qū)劃。將原白云鎮(zhèn)的竹山村劃歸憑祥鎮(zhèn)管轄，憑祥鎮(zhèn)政府駐地由屏山路70號搬遷至北大路3支22號（原白云鎮(zhèn)政府駐地）。將原白云鎮(zhèn)的英陽、三聯(lián)、宋城、平而、匠龍5個村劃歸友誼鎮(zhèn)管轄。調(diào)整后，憑祥市轄4個鎮(zhèn)：憑祥鎮(zhèn)、友誼鎮(zhèn)、上石鎮(zhèn)、夏石鎮(zhèn)。

2003年憑祥市行政區(qū)劃（根據(jù)當(dāng)年廣西行政區(qū)劃代碼整理）
　　100　憑祥鎮(zhèn)　轄北大路、南大路、獅子山路、屏山路、新華路5個居委會；連全、柳班、南山、前進(jìn)、竹山5個行政村。
　　101　友誼鎮(zhèn)　轄召化、禮茶、隘口、卡鳳、英陽、三聯(lián)、平而、宋城、匠龍9個行政村。
　　102　上石鎮(zhèn)　轄上石、白龍、燕安、敖、馬垌、練江、油隘、板旺、浦東9個行政村。
　　103　夏石鎮(zhèn)　轄夏石、新鳴、那樓、白馬、哨平、榴利、豐樂、夏桐、板任、浦門10個行政村。