據傳唐代澗河泛濫，有神馬降臨，退水救民；為感念神馬義舉，遂建“義馬廟”，由此而得名。一說本為驛馬，義馬似由驛馬而得名。又傳唐秦瓊在此飲馬，后“飲”演為“義”，故名。市境原為澠池縣地，1970年成立義馬礦區。1981年設立義馬市，由洛陽地區代管，1986年歸三門峽市代管。

1995年，報經河南省人民政府批準，千秋鄉撤鄉設鎮。千秋鎮轄付村、梁溝、石門、郭莊、二十里鋪、三十里鋪、馬嶺、禮召、裴村、千秋10個村民委員會、97個村民小組；行政區域與設鎮前的鄉相同，未調整變更。

1996年，經河南省政府批準，常村鄉撤鄉設鎮。常村鎮轄常村、苗元、石佛、郭莊、灣子、義馬、南河、河口、程村、馬莊10個村民委員會、79個村民小組；行政區域與設鎮前的鄉相同，未調整變更。區劃調整后，義馬市轄4個街道、2個鎮：千秋路街道、朝陽路街道、常村路街道、新義街街道、千秋鎮、常村鎮。全市面積112平方千米，人口約13.6萬人。市政府駐千秋鎮。

1999年，經三門峽市政府批準，設立泰山路街道。辦事處下轄移民一、移民二、移民三、移民四、河東、橋頭6個居委會。調整后，義馬市轄5個街道、2個鎮。

2000年第五次人口普查，義馬市總人口136543人，其中：千秋路街道34051人、朝陽路街道14222人、新義街街道23314人、常村路街道10439人、泰山路街道7018人、千秋鎮28509人、常村鎮18990人。

2005年，義馬市鄉鎮區劃調整：撤銷千秋鎮、常村鎮，改設2個街道。2005年末，義馬市總人口161016人，轄7個街道：千秋路街道、朝陽路街道、新義街街道、常村路街道、泰山路街道、新區街道（新增）、東區街道（新增），共有31個居委會、20個村委會，179個村民小組。（數據根據《三門峽市行政區劃簡冊》）