清置芷江縣，芷江所經，“兩岸多生杜蘅白芷，故名。”一說因芷水為名。西漢置無陽縣。三國吳改置舞陽縣，唐先天二年（713年）置潭陽縣。元屬沅州路，為路治。明洪武九年（1376年）屬辰州府。清乾隆元年（1736年）置芷江縣，1914—1922年屬辰沅道，為道治，1937年屬第七行政督察區，1940年屬第十行政督察區。

1949年屬會同專區（后改芷江專區），專員公置與縣同治，1952年屬黔陽專區。1968年屬黔陽地區，1981年屬懷化地區。1986年9月22日，國務院批準（國函[1986]124號），撤銷芷江縣，設立芷江侗族自治縣（縣級），以原芷江縣的行政區域為芷江侗族自治縣的行政區域。

1996年，芷江縣面積2099平方千米，人口約33.9萬人，其中侗族人口占48.4%。轄4個鎮、25個鄉（其中3個民族鄉）：芷江鎮、新店坪鎮、碧涌鎮、羅舊鎮、公坪土家族鄉、艾頭坪鄉、水寬鄉、巖橋鄉、麻纓塘鄉、木葉溪鄉、五郎溪鄉、土橋鄉、楊公廟鄉、大洪山侗族鄉、上坪鄉、大樹坳鄉、冷水溪鄉、羅巖鄉、曉坪鄉、洞下場鄉、梨溪口侗族鄉、禾梨坳鄉、垅坪鄉、楠木坪鄉、竹坪鋪鄉、板山鄉、牛牯坪鄉、羅卜田鄉、大垅鄉。縣政府駐芷江鎮。

2000年第五次人口普查，芷江侗族自治縣總人口334229人，其中：芷江鎮32910人，羅舊鎮15542人，新店坪鎮17933人，碧涌鎮13660人，公坪鎮8319人，牛牯坪鄉6545人，艾頭坪鄉7954人，巖橋鄉20297人，水寬鄉10313人，垅坪鄉26049人，木葉溪鄉7496人，五郎溪鄉4074人，麻纓塘鄉14464人，竹坪鋪鄉10265人，土橋鄉16363人，楊公廟鄉8771人，大樹坳鄉8992人，上坪鄉10805人，大洪山鄉5259人，梨溪口鄉10534人，洞下場鄉8842人，大垅鄉5652人，板山鄉4252人，羅巖鄉5116人，禾梨坳鄉9536人，冷水溪鄉11808人，楠木坪鄉13718人，曉坪鄉10260人，羅卜田鄉8500人。

2004年，芷江侗族自治縣轄5個鎮、23個鄉：芷江鎮、羅舊鎮、新店坪鎮、碧涌鎮、公坪鎮、牛牯坪鄉、艾頭坪鄉、巖橋鄉、水寬鄉、木葉溪鄉、五郎溪鄉、麻纓塘鄉、竹坪鋪鄉、土橋鄉、上坪鄉、大樹坳鄉、大洪山鄉、楊公廟鄉、梨溪口鄉、洞下場鄉、羅巖鄉、板山鄉、大龍鄉、禾梨坳鄉、冷水溪鄉、楠木坪鄉、曉坪鄉、蘿卜田鄉。