東晉永和三年（347年）罷德陽(yáng)郡，于德陽(yáng)縣東南析置遂寧郡，治所初設(shè)德陽(yáng)縣（今遂寧市城區(qū)），后遷徙巴興縣（治今大英縣回馬鎮(zhèn)長(zhǎng)江壩），轄廣漢、德陽(yáng)、晉興、巴興4縣。
南北朝劉宋時(shí)期（420～479年），廣漢郡轄雒、什邡、新都、陽(yáng)泉、五城、郪6縣，析廣漢郡置新城郡，治北伍城縣（今三臺(tái)縣城），轄北伍城、懷歸2縣。
西魏廢帝二年（553年)，宇文泰平蜀。
恭帝（554～556年）改西宕渠郡為涌泉郡，遷治涌泉縣（治今射洪縣洋溪鎮(zhèn)），轄涌泉、廣魏（廣漢更名）2縣。
析北伍城縣置射江縣，縣治今射洪縣金華鎮(zhèn)，屬昌城郡。
今遂寧市境屬懷化、東遂寧、涌泉、昌城4郡，縣地及治所全在遂寧市境的有方義、長(zhǎng)江、射江、廣魏、涌泉5縣，始興縣部分區(qū)域在境內(nèi)、治所在境外。
建德四年（575年），置安居郡，治柔剛縣（今安居區(qū)安居鎮(zhèn)），轄柔剛縣，屬普州，今遂寧市境設(shè)遂州及石山、懷化、涌泉、安居4郡。
縣地及治所全在遂寧市境的有方義、長(zhǎng)江、柔剛、射洪（射江改名)、廣漢（廣魏更名）、通井（涌泉更名)6縣，始興縣部分區(qū)域在境內(nèi)、治所在境外。
1949年12月8日，遂寧解放。
1950年1月12日，成立遂寧分區(qū)，駐遂寧縣城，屬川北區(qū)行署區(qū)（駐今南充市），轄遂寧、潼南、樂(lè)至、三臺(tái)、鹽亭、蓬溪、安岳、中江、射洪9縣。
1952年9月1日，川西、川北、川南、川東4行署區(qū)合并為四川省，遂寧分區(qū)改為專區(qū)。
1958年10月18日，撤銷遂寧專區(qū)，遂寧、蓬溪、中江、三臺(tái)、射洪、鹽亭、潼南7縣劃歸綿陽(yáng)專區(qū)，安岳、樂(lè)至2縣劃歸內(nèi)江專區(qū)。
1985年2月8日，撤銷綿陽(yáng)地區(qū)，分置遂寧、綿陽(yáng)、廣元3個(gè)地級(jí)市，遂寧市轄原綿陽(yáng)地區(qū)的遂寧、射洪、蓬溪3縣，遂寧縣改為市中區(qū)。
1997年12月28日，析蓬溪縣置大英縣。
2003年12月18日，市中區(qū)分為船山、安居2區(qū)。
2019年，經(jīng)國(guó)務(wù)院批準(zhǔn)，射洪撤縣設(shè)縣級(jí)市。
2019年，經(jīng)省政府批復(fù)，全市減少鄉(xiāng)鎮(zhèn)建制36個(gè)（其中船山區(qū)3個(gè)、安居區(qū)5個(gè)、射洪縣9個(gè)、蓬溪縣11個(gè)、大英縣8個(gè)）。