春秋時期，今遵義市管轄地域分屬鱉、鳛及巴、蜀、牂牁等方國。
戰(zhàn)國時屬夜郎國。
秦置鄨縣，屬巴郡。
西漢元光五年(前130)置犍為郡，治鄨縣。
元鼎六年(前111)改隸牂牁郡。
晉平夷郡領(lǐng)鄨縣地。
隋于東境置明陽郡(今鳳岡)；其西境屬牂州，隋煬帝時改牂州為牂柯郡，唐初廢。
唐貞觀九年（635）以隋牂柯郡北部地置郎州(今遵義)。
十三年將郎州更名播州，州治恭水縣。
次年更名羅蒙縣，十六年（642）更名遵義縣。
此為遵義名之始。
十六年于北境置珍州，治夜郎縣(今桐梓)。
十七年又置溱州。
景龍二年(708)于播州設(shè)都督府，先天二年(713)廢。
北宋乾德三年(965)復(fù)置珍州(今正安、道真)。
大觀二年(1108)置播州、承州和遵義軍；三年置滋州，均隸夔州路。
宣和三年(1121)滋、溱、承、播諸州及遵義軍皆廢。
南宋開禧三年(1207)復(fù)置遵義軍，嘉定十一年(1218)廢。
嘉熙三年(1239)置播州安撫司，治播川縣。
元至元二十一年(1284)置遵義軍民總管府；二十六年改播州為播南路；二十八年置播州軍民宣撫司，治今遵義市，隸四川行省。
明洪武五年(1372)以宣撫司地置播州宣慰司，隸四川；改遵義軍民總管府為播州長官司。
萬歷二十九年(1601)廢播州宣慰司，分置遵義、平越兩軍民府。
前者治遵義縣，轄真安州及遵義、桐梓、綏陽、仁懷4縣，隸四川；后者屬貴州。
清康熙二十六年(1687)改遵義軍民府為遵義府。
雍正五年(1727)遵義府由四川劃歸貴州。
1913年廢府、州、廳改置縣，屬黔中道。
1935年設(shè)第五行政督察區(qū)，駐桐梓縣。
1936年督察專員公署移駐遵義城。
1949年置遵義專區(qū)。
1956年余慶縣劃入。
1958年息烽縣劃入。
1963年開陽縣劃入。
1965年息烽、開陽2縣劃歸安順專區(qū)。
1970年改稱遵義地區(qū)。
1997年撤遵義地區(qū)設(shè)地級遵義市，縣級遵義市改設(shè)紅花崗區(qū)。
2004年6月，成立匯川區(qū)。
2016年3月，撤銷遵義縣，設(shè)立播州區(qū)。
至此，遵義市共轄3區(qū)7縣2自治縣，代管2市。