克拉瑪依，系維吾爾語“黑油”的音譯，得名于市區(qū)附近的一座天然瀝青丘——黑油山。1955年10月29日黑油山第一口油井噴油，當(dāng)時(shí)取名為克拉瑪依油田，是新中國(guó)成立后開發(fā)的第一個(gè)大油田。建市前，獨(dú)山子鎮(zhèn)為新疆維吾爾自治區(qū)人民委員會(huì)直接領(lǐng)導(dǎo)的縣級(jí)建制鎮(zhèn)，其余各地均為鄰縣轄區(qū)。其中烏爾禾屬于和布克賽爾縣；大、中、小拐屬沙灣縣，克拉瑪依地區(qū)屬托里縣。
1957年1月24日，新疆維吾爾自治區(qū)人民委員會(huì)第14次會(huì)議決定設(shè)立克拉瑪依市。1958年5月29日，國(guó)務(wù)院批準(zhǔn)設(shè)立克拉瑪依市（縣級(jí)）；同年7月25日，克拉瑪依市召開第一屆人民代表大會(huì)第一次會(huì)議，宣告克拉瑪依市成立。1958年克拉瑪依設(shè)市后，行政區(qū)域包括克拉瑪依、獨(dú)山子、六十戶、烏爾禾、百口泉、紅山嘴、前山撈壩、白堿灘、小拐、中拐、大拐等地區(qū)，下設(shè)獨(dú)山子和烏爾禾兩個(gè)區(qū)；撤銷獨(dú)山子鎮(zhèn)人民委員會(huì)建制。
1982年2月16日，自治區(qū)人民政府批準(zhǔn)克拉瑪依市為設(shè)區(qū)的地（州）級(jí)市，下設(shè)克拉瑪依、獨(dú)山子、白堿灘、烏爾禾4個(gè)區(qū)。1984年8月17日，自治區(qū)決定克拉瑪依市為直轄的不設(shè)區(qū)的縣級(jí)市，下轄街道辦事處和鄉(xiāng)、鎮(zhèn)。1990年1月8日，自治區(qū)恢復(fù)克拉瑪依市為地級(jí)市。
1997年，全市總?cè)丝冢ú缓陆a(chǎn)建設(shè)兵團(tuán)人口）254560人。其中漢族人口占總?cè)藬?shù)的76.5%；少數(shù)民族人口占23.5%。
1999年4月，克拉瑪依市下設(shè)克拉瑪依、獨(dú)山子、烏爾禾、白堿灘4個(gè)區(qū)，烏爾禾、小拐2個(gè)鄉(xiāng)和勝利路、昆侖路、天山路、銀河路、金龍鎮(zhèn)、五五新鎮(zhèn)、金山路、西寧路、北村、中興路、三平鎮(zhèn)、百口泉等街道。
2000年第五次人口普查，克拉瑪依市常住總?cè)丝?70232人。其中：獨(dú)山子區(qū)50732人、克拉瑪依區(qū)145452人、白堿灘區(qū)64297人、烏爾禾區(qū)9751人。
2003年，全市總面積9500平方千米，總?cè)丝?61118人，轄4個(gè)區(qū)，即獨(dú)山子區(qū)、克拉瑪依區(qū)、白堿灘區(qū)、烏爾禾區(qū)。市政府駐克拉瑪依區(qū)。
2010年第六次人口普查，克拉瑪依市常住總?cè)丝?91008人，其中：獨(dú)山子區(qū)69361人，克拉瑪依區(qū)261445人，白堿灘區(qū)50422人，烏爾禾區(qū)9780人。