漢元鼎六年（前111）屬始安縣地。唐至德二年（757）屬臨桂縣轄地，1913年為桂林縣治所，1940年臨桂縣治分屬桂林市培風、義南鎮和西南附廓鄉，1950年屬第二區和西郊區，1955年改陽橋、南門2街道和東蓮鄉，1958年改陽橋、南站2公社，1966年更名為東升、躍進公社，1979年2公社合并設象山區。

1996年底行政區劃調整前，象山區面積19平方千米，人口約15萬人。轄陽橋上、陽橋下、五美、臨桂、崇善、曙光、西城、西南環、福旺、文明、竹園、文昌、文外、文新、虹橋、南外、雉山、維新、尚智、上海、天鵝、桂青、八一、南溪、龍航坪小區、南新、民族、銀錠、甘棠、竹林、蘭竹、青竹、翠竹、金竹、黑山、東安、猴山、將軍、平山、瓦窯40個居委會和安新、同心、平山3個行政村。區政府駐銀錠路。

1996年12月2日，國務院批準對桂林市市轄區的行政區劃作相應調整：擴大象山區的行政區域，將原郊區的二塘鄉、柘木鎮的同心、平山兩個村和穿山鄉的安新村劃歸象山區管轄。區人民政府駐銀錠路。

2000年第五次人口普查，象山區總人口249135人，其中：南門街道93087人，象山街道38339人，平山街道100334人，二塘鄉17375人。

2003年象山區行政區劃（根據當年廣西行政區劃代碼整理）
　　001　南門街道　轄龍船坪、天鵝、雉山、銀錠、民族、甘棠、東安、新竹、竹林、金竹、翠竹11個社區居委會。
　　002　象山街道　轄五美、西城、文明、虹橋、文新、安新、安家洲7個社區居委會。
　　003　平山街道　轄同心、銀海、龍泉、力創、平山東、平山西、大風山、瓦窯、將軍橋、溪園、猴山11個社區居委會；同心、平山2個村委會。
　　200　二塘鄉　轄泮塘、陽家、紅光、萬福、四合、北芬6個村委會。

2013年1月18日，《國務院關于同意廣西壯族自治區調整桂林市部分行政區劃的批復》（國函[2013]17號）同意桂林市人民政府駐地由象山區五美路16號遷至臨桂區西城中路69號。