光緒二十八年置皮山縣，以古國名命名。維吾爾族稱皮山縣為“固瑪”，其含義尚不確定，有“小屋”、“籠子”、“可疑之地”等幾種說法。《西域同文志》釋：“謂可疑也。初，其地人奉回教后，有逃去者，因以名之也。”

西漢時是西域三十六國之一的皮山國，最早見于《前漢書》，王治皮山城。西漢神爵二年（公元前60年）屬西域都護(hù)府。東漢以后屬于闐。《魏書》作蒲山。唐設(shè)皮山城，隸安西大都護(hù)府。清初屬葉爾羌。清光緒十年（1884年）隸屬葉城縣。光緒二十八年（1902年）由葉城縣析固瑪、桑株等三十八莊置皮山縣，縣治固瑪，隸屬莎車府。1920年改隸和闐道，后屬和闐行政區(qū)。1950年屬和闐專區(qū)，1977年后屬和田地區(qū)。

1996年，皮山縣轄2個鎮(zhèn)、13個鄉(xiāng)：固瑪鎮(zhèn)、杜瓦鎮(zhèn)、科克鐵熱克鄉(xiāng)、闊什塔格鄉(xiāng)、桑株鄉(xiāng)、木吉鄉(xiāng)、木奎拉鄉(xiāng)、藏桂鄉(xiāng)、皮西那鄉(xiāng)、喬達(dá)鄉(xiāng)、皮亞勒瑪鄉(xiāng)、瑙阿巴提塔吉克族鄉(xiāng)、康克爾柯爾克孜族鄉(xiāng)、巴什蘭干鄉(xiāng)、克里陽鄉(xiāng)。

2000年第五次人口普查，皮山縣常住總?cè)丝?16024人，其中：固瑪鎮(zhèn)34750人、杜瓦鎮(zhèn)9149人、闊什塔格鄉(xiāng)13180人、克里陽鄉(xiāng)5727人、科克鐵熱克鄉(xiāng)30397人、桑株鄉(xiāng)27447人、木吉鄉(xiāng)18028人、喬達(dá)鄉(xiāng)10379人、木奎拉鄉(xiāng)16501人、藏桂鄉(xiāng)12782人、皮亞勒瑪鄉(xiāng)5791人、皮西那鄉(xiāng)6478人、巴什蘭干鄉(xiāng)4167人、瑙阿巴提塔吉克民族鄉(xiāng)832人、康克爾阿爾克孜民族鄉(xiāng)1786人、縣國營牧場1022人、兵團(tuán)皮山農(nóng)場17608人。

2003年，全縣總面積39741.52平方千米，總?cè)丝?20919人。轄2鎮(zhèn)、13鄉(xiāng)：固瑪鎮(zhèn)、杜瓦鎮(zhèn)、闊什塔格鄉(xiāng)、科克鐵熱克鄉(xiāng)、桑株鄉(xiāng)、木吉鄉(xiāng)、木奎拉鄉(xiāng)、藏桂鄉(xiāng)、皮西那鄉(xiāng)、皮亞勒瑪鄉(xiāng)、巴什蘭干鄉(xiāng)、克里陽鄉(xiāng)、喬達(dá)鄉(xiāng)、垴阿巴提塔吉克族鄉(xiāng)、康克爾柯爾克孜族鄉(xiāng)。縣政府駐固瑪鎮(zhèn)。

2010年5月，自治區(qū)政府批準(zhǔn)設(shè)立賽圖拉鎮(zhèn)。

2010年第六次人口普查，皮山縣常住總?cè)丝?58210人，其中：街道辦事處18424人，固瑪鎮(zhèn)28163人，杜瓦鎮(zhèn)8631人，縣直轄村鎮(zhèn)1199人，闊什塔格鄉(xiāng)15200人，克里陽鄉(xiāng)6414人，科克鐵熱克鄉(xiāng)35414人，桑株鄉(xiāng)30906人，木吉鄉(xiāng)23273人，喬達(dá)鄉(xiāng)12450人，木奎拉鄉(xiāng)19591人，藏桂鄉(xiāng)13727人，皮亞勒瑪鄉(xiāng)6094人，皮西那鄉(xiāng)7496人，巴什蘭干鄉(xiāng)4862人，瑙阿巴提塔吉克民族鄉(xiāng)932人，康克爾柯爾克孜民族鄉(xiāng)1902人，國營牧場1005人，兵團(tuán)皮山農(nóng)場22527人。

2012年，自治區(qū)政府（新政函[2012]364號）批準(zhǔn)撤銷木吉鄉(xiāng)，設(shè)立木吉鎮(zhèn)（2013年實(shí)施，皮政發(fā)[2013]8號）。調(diào)整后，全縣轄4個鎮(zhèn)、12個鄉(xiāng)（其中2個民族鄉(xiāng)）：固瑪鎮(zhèn)、杜瓦鎮(zhèn)、賽圖拉鎮(zhèn)、木吉鎮(zhèn)、闊什塔格鄉(xiāng)、克里陽鄉(xiāng)、科克鐵熱克鄉(xiāng)、桑株鄉(xiāng)、喬達(dá)鄉(xiāng)、木奎拉鄉(xiāng)、藏桂鄉(xiāng)、皮亞勒瑪鄉(xiāng)、皮西那鄉(xiāng)、巴什蘭干鄉(xiāng)、垴阿巴提塔吉克族鄉(xiāng)、康克爾柯爾克孜族鄉(xiāng)。