胶州城隍庙牌坊
沿海一线的众多墩堡构成灵山卫海防第一道防线，每墩五人；离海岸线有一定距离为堡，每堡四人。守墩军兵会根据发现不同敌情点狼烟或呜炮。守墩堡军户在墩堡附近建房安家居住，每个墩堡有50亩墩田供守墩堡军户耕种 。
由于每个墩堡守卫人员只有四五人，对大股倭寇起不到阻止震慑，所以在沿海地区和灵山卫到胶州胶古道、夏河所到胶州的古道上设立众多频海城堡，频海城堡内驻有卫所军队，当地民间俗称兵营，墩堡发现敌情时各个兵营会及时出动驻军处置敌情。沿海一线每隔几个墩就有设立一处兵营，兵营一般设在沿海一些岭地高台处，站在兵营城墙瞭望台上能俯视周边沿海情况，兵营附近每个烟墩都在视线之内，发现敌情可以及时出动有效支援附近墩堡守军。设在官道上的兵营主要保护官道的安全，为来往军兵、差役和官员提供住宿、饮食、换乘马匹等，兼有驿站功能。大型兵营规模以管家大村大营子兵营为例，大营子兵营东西长130米，南北宽130米，占地面积16900平方米。城墙厚3米为土坯夯筑土城，平时驻有守城军馀五六十人。小型兵营以解家村小营子兵营为例：长50米，宽40米，城墙残迹高约3米，平时驻有守城军馀二十人左右。
灵山卫城、夏河所城、胶州城三城驻军构成了第三道防线，即墨营驻守的备倭军随时支援下属各卫。灵山卫的设立保护了当地不受倭寇侵犯，使明初人烟稀少土地荒废的沿海地区得到开发。灵山卫还设有学宫建有卫学，使卫所的军户子弟得以学习文化知识，明清两朝灵山卫先后出进士、举人、贡生等93人，有利的促进当地文化的发展。
清康熙十五年（1676年）丙辰科进士王清试府邸，进士府大部分院落早已被拆，上图为进士府西北角保存下来的一处院落。
灵山卫的发展变化主要有四个时期，第一个时期为洪武三十一年（1398年）至正统十四年（1449年），这一时期为灵山卫为五所编制，是灵山卫的顶盛期，也是灵山卫被称为北方沿海四大卫的原因。第二个时期为正统十四年（1449年）至嘉靖三十一年（1552年），这一时期由于土木堡之变大批卫所军队抽调进京，整个卫所人员不到二千人，卫所防备混乱松弛。第三个时期为嘉靖三十二年（1553年）至崇祯末年（1644年），这一时期是灵山卫由乱到治，三所建制成型。第四个时期为清朝顺冶（1644年）至雍正十二年（1734年），清代改革卫所世袭制度，清朝逐步裁撤明代卫所，灵山卫经历三次裁留之争，最终于雍正十二年（1734年）被裁撤。
灵山卫被裁撤后，由于灵山卫守备李兆英受胶州知州王维蛊惑，不故卫民百姓的反对放弃撤卫改县，使灵山卫归并胶州，卫城管辖地归胶州县，夏河所管辖地归诸城县，使灵山卫丧失了由卫改县的机会。后来乾隆十一年山东巡抚喀尔吉善巡视灵山卫，灵山卫民提出灵山卫仿照威海、荣成等卫由卫改县。查尔吉善虽令批转布政使司调查，布政使司又令胶州知州调查复议。当时胶州知州空缺，由诸城知县王志曾署理胶州知州，由于灵山卫钱粮财税都多于胶州、诸城两县，灵山卫设县将直接影响胶州、诸城两县税收，王志曾为了维护两县利益增加自已的政绩，私自捏造事实上呈山东布政使司由卫改县的诸多不便，使灵山卫失去了第二次由卫改县的机会。
灵山卫被裁后，把逄猛镇巡检司迁至灵山卫，成为灵山巡检分司。灵山卫改县失败后，卫城居民纷纷迁往外地，卫城渐渐荒废繁华不在，《灵山卫志》作者苏潜修触景生情写诗一首《灵山怀古》：故国风光已悄然，昔人事业尽硝烟。 军体将罢百三载，官去城空十一年。 蝉响夕阳风满树，雁横秋岛雨连天。 堪 嗟 世 事 如 流 水， 满 目 烟 波 一 钓 船 。这首《灵山怀古》映照了灵山卫裁撤后卫城的衰败情景。
