明弘治十二年（1499年）置新寧縣，屬?gòu)V州府。清同治六年（1867），分立赤溪廳，直屬?gòu)V東布政司，民國(guó)元年（1912年）廳改縣。民國(guó)三年（1914年）新寧縣更名臺(tái)山縣，因境內(nèi)有三臺(tái)山而得名。
1953年赤溪撤縣為區(qū)，并入臺(tái)山縣。1983年由江門市管轄。1992年4月17日，民政部批復(fù)（民行批[1992]41號(hào)）撤銷臺(tái)山縣，設(shè)立臺(tái)山市（縣級(jí)）。由江門市代管。
1996年，臺(tái)山市面積3213.2平方千米。人口101萬(wàn)人，旅外僑胞、港澳同胞近110萬(wàn)人。轄28個(gè)鎮(zhèn)：臺(tái)城鎮(zhèn)、附城鎮(zhèn)、四九鎮(zhèn)、水步鎮(zhèn)、大江鎮(zhèn)、公益鎮(zhèn)、三八鎮(zhèn)、三合鎮(zhèn)、白沙鎮(zhèn)、沖蔞鎮(zhèn)、斗山鎮(zhèn)、都斛鎮(zhèn)、赤溪鎮(zhèn)、田頭鎮(zhèn)、端芬鎮(zhèn)、隆文鎮(zhèn)、廣海鎮(zhèn)、南灣鎮(zhèn)、沙欄鎮(zhèn)、海宴鎮(zhèn)、汶村鎮(zhèn)、橫山鎮(zhèn)、深井鎮(zhèn)、那扶鎮(zhèn)、北陡鎮(zhèn)、上川鎮(zhèn)、下川鎮(zhèn)、海僑鎮(zhèn)。另設(shè)有6個(gè)國(guó)營(yíng)農(nóng)（林）場(chǎng)。市政府駐臺(tái)城鎮(zhèn)。
2000年第五次人口普查，臺(tái)山市總?cè)丝?48716人，其中：臺(tái)城鎮(zhèn)139858人，公益鎮(zhèn)16267人，大江鎮(zhèn)39939人，水步鎮(zhèn)44853人，附城鎮(zhèn)50982人，四九鎮(zhèn)39996人，三八鎮(zhèn)30639人，白沙鎮(zhèn)37453人，三合鎮(zhèn)42475人，沖蔞鎮(zhèn)39924人，斗山鎮(zhèn)51288人，都斛鎮(zhèn)45438人，赤溪鎮(zhèn)12031人，田頭鎮(zhèn)16306人，端芬鎮(zhèn)45299人，廣海鎮(zhèn)34519人，隆文鎮(zhèn)8236人，沙欄鎮(zhèn)14648人，海宴鎮(zhèn)58940人，汶村鎮(zhèn)49644人，深井鎮(zhèn)27307人，那扶鎮(zhèn)21841人，北陡鎮(zhèn)28424人，上川鎮(zhèn)16655人，下川鎮(zhèn)15182人，南灣鎮(zhèn)9303人，橫山鎮(zhèn)4846人，海僑鎮(zhèn)6423人。
2001年9-10月，臺(tái)山市調(diào)整鄉(xiāng)鎮(zhèn)行政區(qū)劃，將原28個(gè)鎮(zhèn)合并為20個(gè)鎮(zhèn)。撤銷沙欄、海橋、南灣、橫山、隆文、公益、田頭、附城等8個(gè)鎮(zhèn)，具體為：1、撤銷沙欄、海僑鎮(zhèn)并入海宴鎮(zhèn)；2、撤銷南灣鎮(zhèn)并入廣海鎮(zhèn)；3、撤銷橫山鎮(zhèn)并入汶村鎮(zhèn)；4、撤銷隆文鎮(zhèn)將其行政區(qū)域分別并入深井、端芬鎮(zhèn)；5、撤銷公益鎮(zhèn)并入大江鎮(zhèn)，撤銷田頭鎮(zhèn)并入赤溪鎮(zhèn)；6、撤銷附城鎮(zhèn)并入臺(tái)城鎮(zhèn)。
2002年，臺(tái)山市轄臺(tái)城、大江、水步、四九、都斛、赤溪、沖葵、斗山、廣海、上川、下川、端芬、海宴、汶村、三合、北陡、深井、那扶、白沙、三八20個(gè)鎮(zhèn)。
2004年，上川鎮(zhèn)和下川鎮(zhèn)合并為川島鎮(zhèn)。調(diào)整后，臺(tái)山市轄臺(tái)城、大江、水步、四九、都斛、赤溪、沖蔞、斗山、廣海、川島、端芬、海宴、汶村、三合、北陡、深井、那扶、白沙、三八19個(gè)鎮(zhèn)。
2006年，經(jīng)省人民政府批準(zhǔn)，臺(tái)山市調(diào)整部分鎮(zhèn)行政區(qū)劃：撤并那扶鎮(zhèn)，將其行政區(qū)域并入深井鎮(zhèn)，深井鎮(zhèn)人民政府駐地不變；撤并三八鎮(zhèn)，將其行政區(qū)域分別并入白沙鎮(zhèn)、臺(tái)城鎮(zhèn)和水步鎮(zhèn)，其中原三八鎮(zhèn)的三八墟居委會(huì)和新三八、鄒村、沖泮、里邊、五圍、崗美、沖云、塘洞等8個(gè)村委會(huì)并入白沙鎮(zhèn)，白沙鎮(zhèn)人民政府駐地不變；將原三八鎮(zhèn)的三社村委會(huì)并入臺(tái)城鎮(zhèn)，臺(tái)城鎮(zhèn)人民政府駐地不變；將原三八鎮(zhèn)的密沖村委會(huì)并入水步鎮(zhèn)，水步鎮(zhèn)人民政府駐地不變。同年，撤銷臺(tái)城鎮(zhèn)，設(shè)立臺(tái)城街道；8月11日掛牌成立。
2009年末，面積3296平方千米，轄1個(gè)街道、16個(gè)鎮(zhèn)，36個(gè)居委會(huì)、277個(gè)行政村。市政府駐臺(tái)城街道。