早在原始社會(huì)時(shí)期，二連浩特境內(nèi)就有古游獵部落。
春秋戰(zhàn)國時(shí)期，為林胡地，亦稱東胡地。
秦漢時(shí)期，匈奴遷徙在此。
東漢時(shí)期，為烏恒、鮮卑入居。
隋唐時(shí)期，由突厥徙牧。
遼朝時(shí)期，為漠葛失部地。
金朝時(shí)期，為汪古部族地。
元朝時(shí)期，屬上都蘇尼特鄂托克地，設(shè)玉龍棧。
據(jù)《元史·憲宗紀(jì)》載，蒙哥汗在此會(huì)見忽必烈，設(shè)大宴并共商國事軍情。
明英宗十四年（1449年），歸北元左翼三萬戶，稱蘇尼特鄂托克。
清嘉慶二十五年（1820年），設(shè)置“伊林”驛站。
清光緒十五年（1899年），清政府架通張家口至庫倫（今蒙古國烏蘭巴托）的電話線，又設(shè)電報(bào)局，并將該地標(biāo)入當(dāng)時(shí)的地圖集，名曰“二連”。
民國七年（1918年），張家口旅蒙商景學(xué)鈐等人創(chuàng)辦“大成張庫汽車公司”，開通了張家口至庫倫（今蒙古國烏蘭巴托）汽車運(yùn)輸線，二連鹽池成為這條運(yùn)輸線上的重要站點(diǎn)之一，站名“滂北”。
1953年，集二鐵路正式動(dòng)工修建，在鐵路選線時(shí)，為避開鹽池低洼地形，從傳統(tǒng)交通線西移9千米，又在傳統(tǒng)邊境線南6.5千米處建國境火車站，站名始稱“額仁”，因發(fā)音不便，更作“二連”。
1956年1月，中、朝、越、蘇、蒙及東歐各社會(huì)主義國家參加的鐵路聯(lián)運(yùn)正式開通，以車站為中心的建筑群便成為今二連的雛形。
1956年3月7日，設(shè)二連鎮(zhèn)，隸屬錫林郭勒盟蘇尼特右旗。
1957年7月14日，升格為縣級(jí)建制，于“二連”后加綴“浩特”（蒙語意為城市）一詞，隸屬錫林郭勒盟。
1966年1月，經(jīng)國務(wù)院批準(zhǔn)設(shè)立縣級(jí)二連浩特市。
1969年11月，劃歸烏蘭察布盟。
1980年5月，重新劃回錫林郭勒盟。
1985年1月，內(nèi)蒙古自治區(qū)人民政府批準(zhǔn)二連浩特市升格為準(zhǔn)地級(jí)市。
1985年6月，國務(wù)院批準(zhǔn)二連浩特市為甲類開放城市。
1986年3月，內(nèi)蒙古自治區(qū)政府批準(zhǔn)二連浩特市為計(jì)劃單列市。
1992年7月，二連浩特市被國務(wù)院列為13個(gè)沿邊開放城市之一。
2014年6月5日，二連浩特市經(jīng)國務(wù)院批準(zhǔn)成為“全國第二批重點(diǎn)開發(fā)開放試驗(yàn)區(qū)”。