夏商時代為有緡國，周設緡邑。西漢屬山陽郡，東漢設金鄉，隋朝置金鄉縣。因境內有金山而得名。據《晉地道記》：“縣多山，治所名金山。山北有鑿石為彖，深十余丈，隧長三十丈，傍卻人為堂三方，云得白兔不葬。更葬南山，鑿而得金，故名金山。”1949年屬平原省，1952年屬山東省。

1995年1月13日，設立金馬鄉，將雞黍鎮的馬集、王門樓、胡莊、辛莊、東李、張莊、單樓、西李、楊莊、大劉、焦行、分廟、劉樓、呂廟、郭莊、杜河、宋營、鄭樓、菜園、太山廟、李杭、徐廟等22個村劃歸金馬鄉管轄，鄉政府駐馬集；設立大義鄉，將胡集鎮的大義北、大義南、南周、南孫樓、莫橋、前代、萬柳、邱井、方廟、南郭、后代、安樓、前安、北周、邱樓、草廟、西王莊、李樓、莫樓等19個村和羊山鎮的劉莊、桃元、安五王、河東王、后于、宋屯、周大樓、東張、東李、薛海、關帝等11個村劃歸大義鄉管轄，鄉政府駐大義。

1996年，金鄉縣面積881平方千米，人口59萬人。轄6個鎮、10個鄉：金鄉鎮、羊山鎮、肖云鎮、胡集鎮、緡城鎮、雞黍鎮、卜集鄉、大義鄉、馬廟鄉、王丕鄉、化雨鄉、司馬鄉、興隆鄉、魚山鄉、金馬鄉、高河鄉。縣政府駐金鄉鎮。

1999年12月22日，撤銷馬廟鄉，設立馬廟鎮（魯政函民字[1999]39號）。2000年5月11日，撤銷司馬鄉，設立司馬鎮，其行政區域和政府駐地不變（魯政函民字[2000]34號）。至此，金鄉縣轄10個鎮、6個鄉。

2000年第五次人口普查，總人口602555人，其中：金鄉鎮70916人，緡城鎮44112人，王丕鎮21416人，霄云鎮44271人，胡集鎮36293人，羊山鎮48109人，馬廟鎮50823人，魚山鎮23558人，雞黍鎮36722人，司馬鎮30409人，卜集鄉40988人，高河鄉32704人，化雨鄉42437人，興隆鄉36964人，金馬鄉22061人，大義鄉20772人。

2000年12月1日，山東省政府（魯政函民字[2000]69號）批準：撤銷大義鄉，將其行政區域并入胡集鎮；撤銷緡城鎮，將其行政區域并入金鄉鎮，金鄉鎮政府駐地遷至原緡城鎮政府駐地；撤銷金馬鄉，將其行政區域并入雞黍鎮。調整后，金鄉縣轄9個鎮、4個鄉。

金鄉縣轄9個鎮、4個鄉：金鄉鎮、胡集鎮、霄云鎮、羊山鎮、雞黍鎮、魚山鎮、王丕鎮、馬廟鎮、司馬鎮、興隆鄉、高河鄉、卜集鄉、化雨鄉。共8個居委會、651個村委會，1247個自然村。總面積885平方千米，總人口608853人。（根據“濟寧地名網”，估計為2004年統計數據）

2007年底，金鄉縣總面積886.46平方千米。總人口62.14萬人，其中城鎮人口9.38萬人。有少數民族28個，2954人。轄9個鎮、4個鄉：金鄉鎮、羊山鎮、胡集鎮、肖云鎮、雞黍鎮、王丕鎮、司馬鎮、魚山鎮、馬廟鎮、化雨鄉、卜集鄉、高河鄉、興隆鄉，659個行政村（居委會）。

2008年，經省政府批準，將金鄉鎮18個村劃歸魚山鎮。2010年，撤銷金鄉鎮，設立金鄉街道；撤銷高河鄉、化雨鄉，設立高河鎮、化雨鎮。調整后，轄1個街道、10個鎮、2個鄉：金鄉街道、羊山鎮、胡集鎮、肖（霄）云鎮、雞黍鎮、王丕鎮、司馬鎮、魚山鎮、馬廟鎮、化雨鎮、高河鎮、卜集鄉、興隆鄉。縣政府駐金鄉街道。