硯山以維摩山頂水池之特殊地貌形狀“山勢頗秀，其形如硯”而得名。　西漢時期，縣境東部屬牂牁郡句町、鐔封、進桑、宛溫縣，西部屬益州郡毋棳縣。東漢屬益州牂柯郡。三國蜀漢為益州興古郡。西晉至南朝梁屬寧州興古郡。北朝周屬南寧州。隋屬南寧州總管府昆州。唐初屬嶺南道僚子部，唐南詔國屬通海都督府轄地。宋大理國屬最寧府維摩部、教合三部。元屬廣南西路和哈迷萬戶府。明分屬臨安府阿迷州教化長官司，廣南府和廣西府維摩州。清為開化府文山縣、廣西直隸丘北縣、廣南府寶寧縣、臨安府阿迷州轄地。清道光三年（1823），設江那縣丞。

民國元年（1912）設江那縣佐，隸屬文山縣；小維摩縣佐，屬廣南縣。民國22年（1933）6月，由文山縣江那縣佐、廣南縣的小維摩縣佐析置合并硯山設治局。民國24年（1935）7月1日設置硯山縣。民國31年（1942）屬云南省第二行政督察區（駐文山縣）。民國33年（1944）6月，硯山縣為三等縣，總面積3263平方千米，總戶數17767戶，總人口814000人，其中男性39465人、女性41935人。全縣轄5鎮、5鄉；141保、1595甲。民國37年（1948）硯山縣屬云南省第四行政督察區（駐硯山縣）。

1949年4月8日在者臘建立了縣人民民主政府，除縣城外，各區鄉普遍建立了人民民主政府。1949年11月30日，硯山全境解放；12月1日，縣委、政府領導機關遷駐縣城江那。1950年硯山縣屬文山專區。1957年5月24日，國務院全體會議第49次會議決定設置文山僮族苗族自治州（1965年10月12日國務院批復：文山僮族苗族自治州改為文山壯族苗族自治州），硯山縣屬文山州。

1960年9月13日，國務院全體會議第103次會議通過：撤銷硯山縣，將原硯山縣的行政區域并歸文山縣（1958年10月已撤并）。1962年3月27日，國務院全體會議第115次會議決定：恢復硯山縣，以合并于文山縣的原硯山縣行政區域為硯山縣的行政區域（1961年8月已分置）。

1996年，全縣面積3805平方千米，人口約40.1萬人，轄4個鎮、8個鄉：江那鎮、平遠鎮、稼依鎮、阿猛鎮、阿舍彝族鄉、維摩彝族鄉、干河彝族鄉、盤龍彝族鄉、阿基鄉、者臘鄉、蚌峨鄉、八嘎鄉。

2000年第五次人口普查，硯山縣常住總人口437508人，其中：江那鎮66527人，平遠鎮79703人，稼依鎮39460人，阿猛鎮23583人，阿舍彝族鄉23723人，維末彝族鄉49713人，盤龍彝族鄉29815人，八嘎鄉31917人，者臘鄉28716人，蚌峨鄉13422人，阿基鄉29406人，干河彝族鄉21523人。

2003年，硯山縣轄4個鎮、8個鄉：江那鎮、平遠鎮、稼依鎮、阿猛鎮、阿基鄉、者臘鄉、蚌峨鄉、八嘎鄉、阿舍彝族鄉、維摩彝族鄉、盤龍彝族鄉、干河彝族鄉，以及平遠、稼依2個華僑農場，93個行政村、6個社區，995個自然村，1289個村民小組。2005年，全縣總人口44.8萬人，其中農業人口41.1萬人，少數民族人口28.79萬人，占總人口的64.3%。

2006年，撤銷阿基鄉，其行政區域并入阿猛鎮，鎮政府駐地不變（省政府2006年3月16日批準）。2006年末，硯山縣面積3888平方千米，人口44.79萬人。轄4個鎮、7個鄉（其中4個民族鄉）：江那鎮、平遠鎮、稼依鎮、阿猛鎮、阿舍彝族鄉、維末彝族鄉、盤龍彝族鄉、八嘎鄉、者臘鄉、蚌峨鄉、干河彝族鄉；回龍農場。共有7個居委會、93個行政村。

2010年第六次人口普查，硯山縣常住總人口463261人，其中：江那鎮79448人，平遠鎮88103人，稼依鎮41917人，阿猛鎮53291人，阿舍彝族鄉24356人，維末彝族鄉51101人，盤龍彝族鄉30076人，八嘎鄉31697人，者臘鄉28874人，蚌峨鄉12797人，干河彝族鄉21601人。

2014年，平遠鎮、稼依鎮、阿猛鎮被列為全國重點鎮。