西周時(shí)期，屬鄂東南文化區(qū)的范圍，是鄂國(guó)的領(lǐng)地。
周夷王時(shí)，楚國(guó)東征達(dá)鄂境，一度屬楚。
戰(zhàn)國(guó)楚威王時(shí)（前339-前329），為楚國(guó)封君的封邑。
秦始皇二十六年（前221），秦統(tǒng)一天下后，屬三十六郡之南郡。
西漢高祖六年（前201），從南郡中析出江夏郡，屬江夏郡沙羨縣。
三國(guó)吳黃武五年（226），東吳遷都鄂縣（今湖北鄂州），將鄂縣改名武昌縣，同年又設(shè)武昌郡領(lǐng)6縣，屬武昌郡沙羨縣。
吳太平二年（257），沙羨侯降魏，沙羨縣廢，屬魏。
西晉太康元年（280），復(fù)置沙羨縣，屬沙羨縣。
東晉太元三年（378），改沙羨縣為汝南縣，隸江夏郡，屬汝南縣。
隋開皇九年（589）改汝南縣為江夏縣至清同治八年，是江夏縣六大名鎮(zhèn)之一。
唐高祖武德四年（621），改江夏郡為鄂州，領(lǐng)江夏等5縣，屬江夏縣。
唐貞觀年間（627-649），全國(guó)劃為10道，江夏縣隸山南道鄂州，屬江夏縣。
北宋年間（960-1127），全國(guó)統(tǒng)一后，江夏縣改隸荊湖北路鄂州，屬江夏縣。
元成宗大德五年（1301），江夏縣改隸廣行中書省武昌路，領(lǐng)7縣，屬江夏縣。
明洪武九年（1376），廢行中書省，全國(guó)置13個(gè)承宣布政使司，改武昌路為武昌府，江夏縣隸武昌府，屬江夏縣。
清圣祖康熙三年（1664），湖廣布政司分為湖北布政司、湖南布政司，江夏縣隸湖北布政司武昌府，屬江夏縣。
穆宗同治八年（1869），湖北布政司武昌府江夏縣設(shè)城廂區(qū)和“三鄉(xiāng)”、“四汛”，為江夏縣北鄉(xiāng)轄地。
民國(guó)元年（1912）改江夏縣為武昌縣，隸湖北江漢道，屬武昌縣。
1949年5月，武昌縣全境解放，設(shè)7個(gè)區(qū)，第二區(qū)駐青山鎮(zhèn)。
1950年2月，武昌縣第二區(qū)改為第九區(qū)。
1951年12月，青山第一次建區(qū)，區(qū)政府駐青山鎮(zhèn)。
1955年2月，青山第二次建區(qū)，區(qū)委、區(qū)政府仍駐青山鎮(zhèn)，成為當(dāng)時(shí)青山區(qū)的政治、文化、商業(yè)中心。
同年10月，武漢鋼鐵公司青山廠區(qū)基本建設(shè)工程正式破土動(dòng)工，青山地區(qū)相繼集結(jié)來(lái)自全國(guó)各地的5萬(wàn)多名建設(shè)工人和近10萬(wàn)名職工家屬，青山鎮(zhèn)出現(xiàn)了有史以來(lái)從未有過(guò)的繁榮景象。
1956年6月，成立青山鎮(zhèn)街辦事處（青山區(qū)第一個(gè)街道辦事處），轄居委會(huì)5個(gè)。
1958年，全省第一家婦女糧店五女糧店在青山鎮(zhèn)成立。
街道辦事處陸續(xù)創(chuàng)辦草繩廠、紙袋廠等一批街辦企業(yè)，街道經(jīng)濟(jì)隨著武鋼、青山船廠等大型國(guó)有企業(yè)的建設(shè)獲得長(zhǎng)足發(fā)展。
70年代初，武漢石油化工廠動(dòng)工興建，爾后又有一批大中型企業(yè)在青山鎮(zhèn)街建成，青山鎮(zhèn)街逐漸成為石油化工業(yè)和造船工業(yè)的重要生產(chǎn)基地。
1972-1975年，青山鎮(zhèn)街道轄居委會(huì)由6個(gè)增至9個(gè)。
改革開放以后，街道的第三產(chǎn)業(yè)加速發(fā)展，服務(wù)領(lǐng)域由單一的副食、飲食向多元化發(fā)展。
以街道文化中心、居委會(huì)文化室和企業(yè)文化活動(dòng)場(chǎng)所的文化網(wǎng)絡(luò)建設(shè)和社區(qū)服務(wù)網(wǎng)絡(luò)建設(shè)發(fā)展迅速。
1985年，青山鎮(zhèn)街轄居委會(huì)總數(shù)增至11個(gè)，1987年增至15個(gè)。
90年代初，青山外貿(mào)碼頭在青山鎮(zhèn)建成，該碼頭可同時(shí)停泊3艘5000噸級(jí)海輪，是長(zhǎng)江中游最大的外貿(mào)碼頭，成為武漢對(duì)外開放的重要“窗口”。
進(jìn)入90年代，青山鎮(zhèn)的市政建設(shè)進(jìn)入一個(gè)發(fā)展最快的時(shí)期，居民住宅樓不斷興建，形成青山鎮(zhèn)街居民住宅新老并存、新樓林立的特點(diǎn)，道路建設(shè)、街區(qū)綠化和其他市政設(shè)施建設(shè)也都有了較快的發(fā)展。
2000年8月，城市基層管理體制改革，所有居委會(huì)合并為4個(gè)社區(qū)。
2007年啟動(dòng)棚戶區(qū)改造，桃園村社區(qū)拆遷，還有青源、石化、船廠等3個(gè)社區(qū)。
青山鎮(zhèn)街道名沿用至今。