一說是以縣境內的含山（又名橫山）命名。據《清一統志》：含山“在含山縣西三十里，崔嵬雄峻，群山列峙，勢若吞含。（唐）因以名縣。”一說是縣城周圍環山，故名含山。
　　漢為歷陽縣地。唐武德六年（623）析歷陽縣西部置含山縣。武德八年（625年）縣廢。武后長安四年（704年）復置，更名武壽縣。神龍元年（705年），復名含山縣。明初裁革歷陽、烏江、含山三縣，存和州，含南一部分屬無為州。洪武十三年（1380年）十一月復置含山縣，屬和州。
　　1949年1月21日含城解放，含山屬江淮解放區第五專區。同年6月，改屬皖北行署巢湖專區。1952年1月30日屬安徽省蕪湖專區。1958年12月15日與和縣合并為和含縣，縣治設歷陽鎮，屬馬鞍山市，1959年4月屬蕪湖專區。1959年6月1日，含山、和縣分開，恢復原建制。1965年7月28日屬巢湖專區（后改為地區、地級市）。2011年，原地級巢湖市管轄的含山縣劃歸馬鞍山市管轄。

　　1996年，含山縣面積1028平方千米，人口42萬人，轄8鎮6鄉：環峰鎮、東關鎮、運漕鎮、仙蹤鎮、清溪鎮、林頭鎮、銅閘鎮、陶廠鎮、駱集鄉、謝集鄉、張公鄉、姚廟鄉、鉅興鄉、東山鄉。縣政府駐環峰鎮。1998年末，撤銷駱集鄉，設立河劉鎮。調整后，含山縣轄9個鎮、5個鄉。
　　2000年第五次人口普查，全縣總人口405070人，其中：環峰鎮70838人，運漕鎮37903人，東關鎮24037人，銅閘鎮29631人，陶廠鎮32937人，林頭鎮50457人，清溪鎮31618人，仙蹤鎮24053人，河劉鎮19453人，謝集鄉21917人，姚廟鄉16510人，巨興鄉17481人，張公鄉11798人，東山鄉16437人。
　　2001年8月，含山縣面積1045平方千米，轄9個鎮、5個鄉：環峰鎮、運漕鎮、東關鎮、銅閘鎮、陶廠鎮、清溪鎮、仙蹤鎮、河劉鎮、林頭鎮；謝集鄉、張公鄉、東山鄉、姚廟鄉、巨興鄉。共有221個村委會、17個居委會。
　　2004年，含山縣鄉鎮由14個調整為10個，謝集鄉更名為昭關鄉。2004年底，轄9個鎮、1個鄉：環峰鎮、仙蹤鎮、清溪鎮、林頭鎮、東關鎮、運漕鎮、銅閘鎮、陶廠鎮、河劉鎮、昭關鄉。含山縣9個鎮、1個鄉。9個鎮：環峰鎮、運漕鎮、東關鎮、銅閘鎮、陶廠鎮、林頭鎮、清溪鎮、仙蹤鎮、河劉鎮；1個鄉：昭關鄉。
　　2005年，含山縣鄉鎮行政區劃調整（巢湖市人民政府12月7日批準巢政秘[2005]70號），將原10個鄉鎮調整為8個鎮，具體為：一、撤銷河劉鎮、東關鎮。二、調整仙蹤鎮、林頭鎮的行政區域。（一）林頭鎮：將原東關鎮整建制并入。調整后林頭鎮轄5個居委會、20個村委會，面積151.5平方千米，人口7.66萬人。鎮政府駐林頭（原林頭鎮政府駐地）。（二）仙蹤鎮：將原河劉鎮整建制并入。調整后仙蹤鎮轄3個居委會、24個村委會，面積182.5平方千米，人口6.45萬人。鎮政府駐仙蹤（原仙蹤鎮政府駐地）。三、撤銷昭關鄉，以原昭關鄉的行政區域設立昭關鎮，實行鎮管村（居）體制。鎮政府駐謝集（原昭關鄉政府駐地）。四、保留運漕鎮、銅閘鎮、陶廠鎮、環峰鎮、清溪鎮等5個鎮。
　　2006年3月16日，巢湖市人民政府《關于同意居巢區與含山縣部分行政區域調整的批復》（巢政秘[2006]15號）：經請示省政府同意，省民政廳已作出批復（民地字[2006]42號），現通知如下：同意將含山縣清溪鎮湯卞山村委會和三星村委會的趙莊、石羅堡2個村民小組，景林村委會的新村、林莊、方莊、景坳鄭4個村民小組劃歸居巢區半湯街道辦事處管轄。并將趙莊、石羅堡、新村、林莊、方莊、景坳鄭6個村民小組并入湯卞山村委會。調整后的含山縣清溪鎮轄清溪、巨興2個居委會和新興、橫龍、青橫、蒼南、皖山、白衣、佛慧、周崗、清溪、興隆、董城、景林、半湖、三星、姚壟、土龍、太平、巨興、丁塘、馬橋、四橋、白馬、巧脈23個村委會，面積144平方千米，人口4.87萬。鎮政府仍駐清溪。