先秦時(shí)期早在22000年前（舊石器時(shí)代晚期），哈爾濱地區(qū)就已經(jīng)有人類(lèi)活動(dòng)。
大約5000年前，哈爾濱地區(qū)進(jìn)入新石器時(shí)代。
大約3000年前（殷商晚期），哈爾濱進(jìn)入青銅時(shí)代，屬于黑龍江地區(qū)最早的古代文明國(guó)家——白金寶文化的分布區(qū)域。
自帝舜時(shí)始，經(jīng)夏、商、周3代（公元前23世紀(jì)至公元前5世紀(jì)），哈爾濱地區(qū)為肅慎族故地。
秦漢至南北朝時(shí)期漢代，肅慎改稱挹婁，哈爾濱地區(qū)是其西部邊緣。
北魏時(shí)期，挹婁改稱勿吉。
歷經(jīng)兩漢和魏晉時(shí)期，哈爾濱地區(qū)為扶余國(guó)屬地。
公元5世紀(jì)，勿吉滅扶余國(guó)，進(jìn)入哈爾濱地區(qū)，在阿什河畔建立安車(chē)骨部，成為勿吉七大部落聯(lián)盟之一。
隋唐至宋元時(shí)期隋唐時(shí)期，勿吉改稱靺鞨。
公元691年，唐朝派兵征討南下的黑水部靺鞨，進(jìn)入安車(chē)骨部腹地，黑水部靺鞨敗散，安車(chē)骨部靺鞨也大量奔散逃離，靺鞨歸屬于唐。
唐圣歷元年（公元698年），靺鞨族建立地方民族政權(quán)震國(guó)（公元713年改稱渤海國(guó)），渤海國(guó)仿行唐朝的府州縣行政制度，哈爾濱為渤海國(guó)鄚頡府屬地。
遼代契丹太宗天顯元年（公元926年），渤海國(guó)為契丹所滅后，原渤海境內(nèi)的女真族興起，分生女真、熟女真兩部。
生女真位于長(zhǎng)白山及松花江流域，哈爾濱為生女真屬地。
遼天慶五年（公元1115年），生女真完顏部酋長(zhǎng)阿骨打大敗遼軍后建立大金國(guó)，并將上京（哈爾濱阿城）設(shè)立為國(guó)都與兩大漢軍萬(wàn)戶的居住地。
哈爾濱屬上京路會(huì)寧府轄境，是金朝京畿重地。
元代窩闊臺(tái)汗六年（金天興三年，公元1234年），金王朝滅亡，元朝實(shí)行行省制，哈爾濱屬開(kāi)元路轄境，且哈爾濱地區(qū)成為成吉思汗三弟帖木哥·斡赤斤家族的封地。
明清時(shí)期公元1395年，明朝廷派兵攻擊忽刺溫江（今哈爾濱市境呼蘭河）與元?dú)堄鄤?shì)力密切的女真西陽(yáng)哈部，并追擊到甫答迷舊城（今哈爾濱市賓縣鳥(niǎo)河古城）。
經(jīng)陸續(xù)招撫女真諸部，哈爾濱地區(qū)才正式歸屬明朝。
明朝對(duì)東北地區(qū)實(shí)行都司衛(wèi)所制管理，設(shè)遼東都司和奴兒干都司。
哈爾濱地區(qū)屬奴兒干都司兀失衛(wèi)轄境。
清朝建立后，東北地區(qū)因是滿族故鄉(xiāng)，則采用軍府制，全部裁撤明朝設(shè)在東北地區(qū)的都司衛(wèi)所。
清順治三年（公元1646年）五月，哈爾濱歸奉天昂邦章京管轄。
清順治十年（公元1653年）五月，哈爾濱歸寧古塔副都統(tǒng)屬地。
清康熙三十七年（公元1698年），哈爾濱松花江北岸地區(qū)，屬黑龍江將軍下齊齊哈爾副都統(tǒng)轄境。
清乾隆九年（公元1744年），現(xiàn)哈爾濱松花江南岸地區(qū)屬吉林將軍下拉林副都統(tǒng)下阿勒楚喀協(xié)領(lǐng)管轄。
清乾隆三十四年（公元1769年），裁撤拉林副都統(tǒng)，現(xiàn)哈爾濱松花江南岸地區(qū)分屬吉林將軍下阿勒楚喀副都統(tǒng)下阿勒楚喀協(xié)領(lǐng)和拉林協(xié)領(lǐng)管轄。
清同治元年（公元1862年），按旗民分治設(shè)置呼蘭廳，哈爾濱松花江北岸地區(qū)為黑龍江將軍下齊齊哈爾副都統(tǒng)下屬呼蘭廳所轄。
清中后期，隨著“京旗移墾”和“開(kāi)禁放荒”政策的實(shí)施，大量滿漢百姓移居至哈爾濱地區(qū)。
19世紀(jì)末，哈爾濱已出現(xiàn)村屯數(shù)十個(gè)，居民約3萬(wàn)人，為城市的形成與發(fā)展奠定了基礎(chǔ)。
清光緒二十二年（公元1896年），沙俄誘迫清朝廷簽訂不平等的《中俄御敵互相援助條約》，允許俄國(guó)修筑中國(guó)東省鐵路（即中東鐵路），并于1898年確定哈爾濱為中東鐵路樞紐和管理中心。
哈爾濱成為沙俄的侵華總埠，成為沙俄殖民統(tǒng)治的租借地。
1903年中東鐵路建成時(shí)，哈爾濱地方的濱江地區(qū)為吉黑兩將軍的呼蘭、阿勒楚喀兩協(xié)領(lǐng)轄區(qū)。
1904年，日俄戰(zhàn)爭(zhēng)爆發(fā)，哈爾濱成為俄國(guó)的重要戰(zhàn)略后方。
20世紀(jì)初，哈爾濱就已成為國(guó)際性商埠，先后有33個(gè)國(guó)家的16萬(wàn)余僑民聚集這里，19個(gè)國(guó)家在此設(shè)領(lǐng)事館，成為當(dāng)時(shí)的北滿經(jīng)濟(jì)中心和國(guó)際都市。
中華民國(guó)時(shí)期民國(guó)二年（公元1913年）1月29日，吉林省民政公署將吉林省西北路分巡兵備道改為吉林省西北路道，道署設(shè)于哈爾濱。
民國(guó)三年（公元1914年）5月，吉林省西北路道改稱濱江道。
民國(guó)十五年（公元1926年）9月1日，成立哈爾濱特別市政局，直屬東省特別區(qū)行政長(zhǎng)官。
民國(guó)十八年（公元1929年）2月，濱江道撤銷(xiāo)，濱江縣直接隸屬于吉林省政府。
民國(guó)二十一年（公元1932年）2月5日，日本侵略軍占領(lǐng)了哈爾濱；7月1日，偽滿政府發(fā)布命令，成立哈爾濱市政籌備處，隸屬于偽滿國(guó)務(wù)院。
民國(guó)三十四年（公元1945年）8月15日，日本宣布投降，哈爾濱市成立臨時(shí)性的地方維持會(huì)；9月18日蘇聯(lián)紅軍進(jìn)駐哈爾濱市后，次日組成哈爾濱市衛(wèi)戍司令部及哈爾濱軍事管制委員會(huì)，對(duì)哈爾濱市實(shí)行全面管制；9月25日，蘇軍哈爾濱軍事管制委員會(huì)宣布解散哈爾濱市地方維持會(huì)，組成在蘇軍管制下的哈爾濱市政府。
民國(guó)三十五年（公元1946年）1月2日，國(guó)民政府直屬的哈爾濱特別市政府成立，接管原蘇聯(lián)紅軍軍事管制委員會(huì)控制下的哈爾濱市政府；4月27日，國(guó)民政府所屬的哈爾濱特別市政府遂解體。
民國(guó)三十五年（公元1946年）4月28日，哈爾濱建立了人民政權(quán)，成為中國(guó)解放最早的大城市；5月3日，哈爾濱市政府成立，隸屬松江省政府，設(shè)道里、新陽(yáng)、道外、馬家、南崗、三棵樹(shù)、香坊、松浦8個(gè)區(qū)。
民國(guó)三十五年（公元1946年）11月18日，哈爾濱市政府改為哈爾濱特別市政府，隸屬于東北行政委員會(huì)。
1949年3月1日，哈爾濱特別市政府改稱哈爾濱市政府，仍隸屬東北行政委員會(huì)；4月21日，哈爾濱市政府改為哈爾濱市人民政府，隸屬松江省人民政府，為松江省省會(huì)城市。
中華人民共和國(guó)成立后1953年7月18日，哈爾濱市改為中央直轄市（由東北人民政府代管）。
1954年8月1日，松江省與黑龍江省合并，成立新的黑龍江省，哈爾濱市劃入黑龍江省建制，成為黑龍江省的省轄市，并定為黑龍江省省會(huì)。
1955年2月11日，哈爾濱市人民政府改稱“黑龍江省哈爾濱市人民委員會(huì)”。
在“一五”時(shí)期，哈爾濱是國(guó)家重點(diǎn)建設(shè)城市之一，有13項(xiàng)蘇聯(lián)援建的重點(diǎn)建設(shè)工程，構(gòu)筑了哈爾濱基本的工業(yè)格局，奠定了哈爾濱成為國(guó)家重要機(jī)電工業(yè)基地的地位，由一個(gè)消費(fèi)城市轉(zhuǎn)變?yōu)樾屡d工業(yè)城市。
1958年至1965年，哈爾濱經(jīng)歷了“大躍進(jìn)”和經(jīng)濟(jì)調(diào)整的曲折發(fā)展過(guò)程。
1960年6月，原黑龍江省松花江地區(qū)所轄的五常、雙城、巴彥、木蘭、通河5縣劃歸哈爾濱市管轄，肇東縣劃出，由松花江地區(qū)管轄；至此，哈爾濱市共轄阿城、呼蘭、雙城、五常、巴彥、賓縣、木蘭、通河8個(gè)縣。
1965年7月，將哈爾濱市所轄8個(gè)縣劃歸松花江地區(qū)管轄。
1966年至1976年“文化大革命”期間，哈爾濱市人民委員會(huì)基本癱瘓。
1967年2月16日，“哈爾濱市人民公社”成立；26日，“哈爾濱市人民公社”更名為“哈爾濱市紅色造反者革命委員會(huì)”；4月13日，哈爾濱市紅色造反者革命委員會(huì)改稱“哈爾濱市革命委員會(huì)”，它既是市人民代表大會(huì)的常設(shè)機(jī)關(guān)，又是市人民政府。
1980年1月11日，哈爾濱市革命委員會(huì)改為哈爾濱市人民政府，轄有道里、道外、南崗、香坊、動(dòng)力、太平、平房7個(gè)區(qū)。
1996年，松花江地區(qū)與哈爾濱市合并，組建新的哈爾濱市，行政管轄區(qū)域?yàn)榈览飬^(qū)、南崗區(qū)、道外區(qū)、香坊區(qū)、動(dòng)力區(qū)、太平區(qū)、平房區(qū)7個(gè)區(qū)；五常市、雙城市、阿城市、尚志市、呼蘭縣、巴彥縣、賓縣、依蘭縣、延壽縣、木蘭縣、通河縣、方正縣12個(gè)縣（市）。
2004年2月，新設(shè)立松北區(qū)，撤銷(xiāo)太平區(qū)，撤銷(xiāo)呼蘭縣設(shè)立呼蘭區(qū)。
2006年8月，撤銷(xiāo)動(dòng)力區(qū)，撤銷(xiāo)阿城市設(shè)立阿城區(qū)。
2014年5月，撤銷(xiāo)雙城市設(shè)立雙城區(qū)。
至2022年底，哈爾濱市轄9區(qū)9縣（市）。