济宁市下辖县市区中，大多历史悠久、文化灿烂，知名度很高。比如鲁国都城、孔子故里曲阜，有九州之一名号、明代辖鲁南二十三县的兖州，孟子家乡邹城，水浒故事发源地梁山，有北方最大淡水湖的微山，其他如汶上、泗水、嘉祥，都是千年古县。在这个名城汇聚的区域，为什么济宁能脱颖而出，后来居上呢？很大程度上是京杭大运河成就了济宁的地位。
济州于金代由巨野迁治任城。元代定都大都(北京)，京杭大运河开凿山东段通航后，成为沟通南北方的主要交通渠道，济宁地处大运河正中间的位置，地理条件得天独厚，因而地位逐渐上升。至元八年（1271年），济州升济宁府。至元十六年设济宁路，置总管府，领3州16县。
明初，省以下二级政区统一为府，济宁顺理成章地成为济宁府。但是好景不长，因为朱元璋的第十个儿子朱檀封为鲁王，早早的为他在兖州建了王宫。鲁王十五岁来到兖州就藩，觉得王宫所在的兖州地位太低，就把兖州和济宁换了一下。洪武十八年，兖州升为兖州府，济宁则降为只领三县的散州，隶属于兖州府。
这是济宁历史上一次大的挫折，不过济宁没有一蹶不振。虽然降为州，但是地理优势仍在，而且随着经济的发展，特别是明朝先定都南京，后迁北京，南北方的交流更为频繁，大运河的作用越来越重要，济宁的地位也愈加突出。
明永乐年间，任命工部尚书宋礼总理河道，在济宁设总督河道都御史衙门。重开济州河和会通河。并采纳汶上人白英的建议，引汶水出南旺水脊，使汶水实现南北分流，漕运更加畅通便利。
漕运的发展使济宁成为大运河沿岸的繁华都会，明代史书这样形容:高堑深隍，水陆交会，南北要冲之区。襟带汶泗，控引江淮漕运咽喉，河都建节，宿兵于此。东临四达之衢，商贾集五都之市。
清代济宁继续凭借大运河之利发展，成为富庶繁华堪比江南的全国名城，雍正二年，升济宁州为直隶州，从兖州府辖区独立出来，与府平级。
清后期，黄河改道山东，对大清河航运造成了毁灭性破坏，济宁以北断航。但济宁凭借几百年的积淀，仍然于民国四年取消州府建制后成立济宁道，兖州则降为滋阳县。济宁道辖25县，基本相当于明代兖州府的辖区。
新中国成立后，济宁则先后成为济宁专区、济宁地区、济宁市。济宁市现辖任城、兖州二区，嘉祥、金乡、微山、鱼台、梁山、泗水、汶上七县，代管曲阜、邹城两县级市。济宁有今天的地位，大运河功不可没。