西漢武帝元鼎六年（前111），開西南夷后置牂柯、越寓等郡。牂柯郡轄17縣，其中11縣在今云南東南部，今文山、硯山、馬關縣屬進桑縣地，西疇、麻栗坡屬都夢縣地，丘北屬鐔封縣地，廣南、富寧屬句町縣地。東漢時期，今文山州仍隸牂牁郡，其中，文山、硯山、馬關、西疇、麻栗坡屬進乘縣地，丘北屬鐔封縣地，廣南、富寧屬句町縣地。三國蜀漢建興三年（225），諸葛亮率兵平定益州、越嵩、群舸、永昌4郡后，將4郡改建為建寧、朱提、云南、永昌、興古、越嶲、牂牁7郡，隸縻降都督。今文山州8縣分別隸興古郡的進乘縣地（文山、馬關、西疇、麻栗坡），鐔封縣地（丘北），句町縣地（廣南、富寧）。

西晉泰始六年（270），設寧州領南中7郡。太康三年（282），廢寧州并入益州設南夷校尉。太安二年（303）復置寧州，全國設19州，形成州、郡、縣三級建制。今文山州各縣屬寧州興古郡的進乘縣地（文山、硯山、馬關），都篖縣地（西疇、麻栗坡），鐔封縣地（丘北），句町縣地（廣南、富寧）。東晉時期將寧州又劃為17郡，今文山州各縣分屬興古郡的句町縣地（廣南、富寧），西安縣地（西疇、麻栗坡），梁水郡的鐔封縣地（丘北），新豐、建安縣地（文山、硯山、馬關）。自東晉永和三年（347）到北周大定元年（581）的二百余年間，戰亂頻繁，南中大姓爨氏據地稱雄，郡縣設置經常改變。

隋統一全國后，今文山州屬南寧州總管府轄。隋開皇四年（584），取消總管府，改州郡縣制為州縣制，設昆州、恭州、協州，廢興古郡。今文山州屬昆州地。唐初期，置南寧州都督府（治所曲靖），今文山州分屬嚴州、湯望州、歸武州、奏龍州、英州、聲州、勤州地。唐南詔國時今文山、硯山、西疇、麻栗坡、馬關、丘北為通海都督管轄，廣南、富寧屬唐嶺南道（冶所邕州）安南都護府管轄。宋代，除今廣南、富寧隸屬廣南西路廣源州（治所在今廣西桂林）的特磨道及廣源州的左江道（治所在今廣西南寧）外，其余6縣屬大理國政權范圍內的最寧鎮部地（丘北）、王弄山部地（文山縣部份地區）、教合三部地（馬關縣八寨、文山縣古木）、矣尼迦部地（馬關、西疇、麻栗坡）。

元至元十一年（1274），設云南行省、政區為路、府、縣。至元十二年（1275）、十四年（1277），設廣南西路宣撫司，治所在今廣南縣。至元十五年（1278）五月改稱廣南西路宣慰司，后改為宣撫司，轄今廣南、富寧。今文山市屬教合三部地，馬關、西疇、麻栗坡屬矣尼迦部地，隸寧遠州。元大德四年（1300），今丘北縣隸屬廣西路（治所在今瀘西）維摩州。廣南、富寧仍屬廣南西路宣撫司轄。文山為教合三部地，馬關、西疇、麻栗坡為矣尼迦部，隸寧遠州。明代洪武十五年（1382），廣南西路宣撫司改為廣南府，轄今廣南、富寧兩縣。臨安路改為臨安府，轄教化長官司（文山、硯山）、八寨長官司（馬關、麻栗坡）。丘北縣屬廣西府維摩州。

清康熙六年（1667），在平定教化、枯木、八寨、王弄等土司與滇南諸土司聯合反清的基礎上，改土歸流，以教化、王弄、安南三長官司地設開化府，轄開化、安南、王弄、逢春、永平、東安、江那、樂龍八里。原廣南府轄廣南、富州（富寧）。丘北仍隸屬廣西府維摩州。康熙八年（1669）裁廣西府之維摩州，將其部分轄地劃入廣南府和開化府。清雍正八年（1730）七月，開化府增設馬白同知及文山縣附郭。開化府轄逢春里（今文山市部分地區）、東安里（今西疇縣及麻栗坡縣部分地區）、永平里（今馬關縣及河口縣部分地區）；文山縣附郭管轄開化里（今文山市部分地區）、王弄里（今文山市及屏邊縣、金平縣部分地區）、樂龍里（今文山市部分地區）、安南里（今文山市及蒙自縣部分地區）、江那里（今硯山縣一帶）。

乾隆二年（1737），廣南府添設寶寧縣附郭，治所設今廣南縣城。清嘉慶二十五年（1820），開化府設安平廳（今馬關），轄逢春、東安、永平3里。清道光三年（1823），文山縣增設江那（今硯山）縣丞管江那里。清道光二十年（1840），丘北縣丞升正縣，隸屬廣西州。光緒十三年（1887），設臨安開廣道轄臨安、開化、廣南3府。同年，《中法續議界務專條》規定將今馬關縣都龍、麻栗坡縣南溫河等南山地區歸中國，設歸仁里隸安平廳。光緒二十一年（1895），今麻栗坡猛硐山及猛硐上中下三村劃歸中國，屬開化府安平廳歸仁里轄。清光緒二十三年（1897），設麻栗坡交涉副督辦署及河口（時屬安平廳）交涉副督辦署。

民國2年（1913），裁撤開化府，文山縣附郭稱開化縣；丘北縣增設一員五槽縣佐。裁撤廣南府，改稱廣南縣；富州廳改富州縣；安平廳改安平縣。民國3年（1914）復文山縣名，麻栗坡交涉副督辦公署改為麻栗坡對汛特別區督辦公署，直屬云南省都督府。安平縣改稱馬關縣，原轄地東安里改設普蘭行政公署，轄西灑、疇陽兩地域，隸馬關縣。民國4年（1915）廣南縣在維摩設縣佐。民國9年（1920）西灑、疇陽由馬關析置設正縣名西疇縣。民國18年（1929），廢道各縣直屬省。民國21年（1932），江那、小維摩兩縣佐轄地合并設硯山設治局，民國24年（1935）改設正縣名硯山縣。民國26年（1937），富州縣改稱富寧縣。民國31年（1942）3月，設立云南省第二行政督察區（駐文山縣），轄文山、硯山、西疇、馬關、屏邊、丘北、廣南、富寧8縣。