夏時，境內(nèi)設任國，也稱“仍國”。商時，境內(nèi)除任國外，還有奄、厥、卞明等封國。其中，奄曾為商王南庚的都城。

盤庚遷都于殷后，奄為商屬國。西周時，境內(nèi)有任、厥、邾、極、茅、魯國。其中，魯乃為周武王滅商后，封其弟周公旦于奄的封國。

東周時，境內(nèi)的任國，春秋時屬魯，戰(zhàn)國時屬宋又屬齊。魯國于公元前249年為楚所滅。此時，境內(nèi)的封國還有茅、極、鄒、方與、胡陵等。

秦時，廢任國，置任城縣、亢父縣，屬薛郡。境內(nèi)還設有魯郡。西漢時，文帝前元元年（公元前179年）境內(nèi)置任城郡，景帝中元六年（前144年）改為濟東國。

武帝元鼎元年（前116年）為大河郡。宣帝甘露二年（前52年）改為東平國。東漢時，境內(nèi)仍置東平國。

章帝元和元年（公元84年），析東平國置任城國。此外，還有魯國。三國時，魏文帝黃初四年（223年），任城國改為任城郡。

境內(nèi)還置有山陽郡、魯郡。西晉時，境內(nèi)置南平陽侯國。晉武帝咸寧三年（277年），又復為任城國。

此外，境內(nèi)還置有高平國、魯國。東晉時，境內(nèi)先后為后趙、前燕、前秦、后燕所據(jù)，曾置有任城郡、魯郡、高平郡。南北朝時，境內(nèi)仍置高平郡。

宋永初元年（420年），任城并入亢父縣，屬高平郡。北魏神龜元年（518年），復置任城郡。隋時，境內(nèi)先后置有高平郡、魯郡。

唐時，境內(nèi)設魯郡，后又改為濟州、又為濟陽郡、泰寧軍。宋時，境內(nèi)仍置濟陽郡、濟州。宋徽宗政和八年（1118年），境內(nèi)的兗州升襲慶府。

金時，天德二年（1150年），原以巨野為治所的濟州遷往境內(nèi)的任城。

濟寧風光(12張)元時，至元八年（1271年），境內(nèi)的濟州升濟寧府。至元十六年（1279年）境內(nèi)設濟寧路，置總管府，領(lǐng)3州7縣（州又領(lǐng)9縣）。明時，洪武元年（1368年），改濟寧路為府，仍治任城，領(lǐng)3州12縣。

洪武十八年（1385年），又改府為州，只領(lǐng)3縣。同時，升兗州為府，駐滋陽，領(lǐng)27州縣。清時，雍正二年（1724年），濟寧州升為直隸州，領(lǐng)3縣。

雍正八年（1730年）改為散州，不領(lǐng)縣。乾隆四十一年（1776年），又升為直隸州，仍領(lǐng)3縣。境內(nèi)的兗州府，轄10縣；它和濟寧直隸州同屬于駐濟寧的“兗沂曹濟道”。

中華民國時，1912年改濟寧直隸州為濟寧縣。1913年1月，境內(nèi)設岱南道。1914年6月，改為濟寧道，轄25縣。

1933年，境內(nèi)改設山東省第一行政督察專員公署，轄11縣。1935年7月，又改為濟寧實驗區(qū)長官公署，轄14縣。1935年冬，再改為山東省第一區(qū)行政督察專員公署，轄10縣。

1938年3月，日軍侵占濟寧，在境內(nèi)設偽魯西道，轄32縣。1940年7月，又改為偽兗濟道，轄12縣。這期間，國民黨山東“流亡政府”在境內(nèi)設第二行政督察區(qū)，轄7縣，直至1942年。

而中國共產(chǎn)黨領(lǐng)導的抗日民主政權(quán)，則于1941年在境內(nèi)設山東省第一行政主任公署。1944年，更名為魯南第一行政專員公署。抗戰(zhàn)勝利后，1945年9月，國民黨政府在境內(nèi)設魯西辦事處（即第三辦事處），轄16縣。

1946年1月，中國共產(chǎn)黨領(lǐng)導的人民軍隊解放濟寧縣城，遂更名為濟寧市，3月升格為專區(qū)級市，直屬冀魯豫區(qū)。同年9月，濟寧市被國民黨軍隊短期占領(lǐng)，并設山東省第二行政督察專員公署兼保安司令部，轄7縣。1947年3月，又更名為第二行政督察區(qū)公署，仍轄7縣。

1948年7月，濟寧市再獲解放，改屬魯中南區(qū)。中華人民共和國建立后，1950年5月，濟寧市降為縣級市，改屬滕縣專區(qū)。1953年，滕縣專署和湖西專署合并為濟寧專員公署，并進駐濟寧市。

1954年10月，濟寧市曾改為省轄市，由濟寧專署督導。但不久，又改為縣級市，仍為專署駐地。1967年，濟寧專區(qū)改稱為濟寧地區(qū)。

1983年8月30日，經(jīng)國務院批準，撤銷濟寧地區(qū)，濟寧市升格為省轄地級市。