灵山卫建于明朝洪武三十一年（1398年），辖前、后、左、中、左五所，被称北方沿海四大卫之一。永乐年间设立山东备倭三大营后，灵山卫归即墨营管辖。明初倭乱日益严重不断侵犯山东沿海，洪武三十一年（1398年）朱元璋派魏国公徐辉祖巡视山东沿海督建：安东、灵山、鳌山卫、大嵩、靖海、成山、威海七卫以防倭寇。灵山卫等七卫设立后不久就暴发了靖难之役，众多卫所军队参加到战争中，所以在建文帝时期山东沿海新设七卫也属于动荡中，卫所军队人员编制短缺，卫所将领调动频繁。燕军战领南京朱棣夺取皇位后，征调山东卫所驻军填补北京的防务空虚，大量卫所驻军的调走造成山东沿海新设七卫的空虚，为填补山东沿海卫所军队的空虚，永乐二年（1402年）南调云南卫所驻军北上补充山东沿海卫所的空虚，所以山东沿海七卫驻军建制完成于永乐二年（1402年）。
永乐二年（1402）卫所驻军调整完成后，灵山卫辖五所5600人，前所为夏河城备御千户所，后所为胶州守御千户所，左中右三所在灵山卫城内，每所有1120人。明朝正统十四年（1449年）明英宗朱祁镇率京师禁军二十万军队北征瓦剌，在土木堡一带明军遭遇瓦剌军队围歼，明英宗朱祁镇被俘，保为京师的二十万明军损失待尽，消息传到北京朝野震动。北京城只有十来万老弱守军，兵部尚书于谦征调南北两直隶、河南的备操军和山东、江苏沿海卫所备倭军保卫北京，最终凭借这些外调进京的勤王军队取得北京保卫战的胜利。这一时期山东沿海地区卫所军队被大量抽保卫北京，每卫由所辖5所5600人减为辖3所二千人左右。
沿海地区卫所驻军的减少加重倭寇侵犯，倭寇不断侵犯山东沿海地区抢夺屠杀沿海卫所军户，这一时期大批卫所驻军和家属逃离卫所。面对日益严重的的倭寇，嘉靖三十二年（1553年）戚继光担任都指挥佥事，掌管山东沿海登州、文登、即墨三营二十五个卫所备倭事宜。戚继光上任后走遍三营二十五个卫所，修缮沿海墩堡，增设濒海城堡，征调内陆地区民户填补沿海卫所驻军缺口。山东沿海卫所经过戚继光三年时间的经营，倭寇侵犯很快平息，戚继光也因在山东沿海的防倭功绩被调往浙江防倭，戚继光调往浙江时带走一部分卫所驻军南下防倭寇。灵山卫建制也在戚继光担任都指挥佥事这段时间固定下来，一直沿续到清代雍正年间裁撤。
戚继光南调浙江抗倭时从山东沿海七卫抽调三千多卫所军队南下，经过戚继光整改后的灵山卫辖后、左二个千户所，前所一个百户寨所，共有二千二百一八人；逄猛、古镇二巡检司，濒海城堡十二，墩四十二、堡二十六，军屯三十三处，共计约有军户二千三百户左右。
灵山卫城（左中右三所）：灵山卫城修建于明洪武三十一年（1398年），朱元璋命魏国公徐辉祖巡视山东沿海督建七卫二所以防倭寇，指挥佥事朱兴始筑灵山卫土城，土城周长三里，城墙高二丈五尺，城墙厚一丈二尺五，东西南北设有四个城门，护城河深二丈五尺，宽二丈。永乐二年（1402年指挥佥事郭兴扩建灵山卫城，扩建后灵山卫城周长五里，城墙外包青砖，四个城门上方增建门楼。弘治年间对城墙进行了大规模维修，这也是第三次修护。
这时灵山卫设有指挥使五员、指挥同知二员、指挥佥事一员、经历一员、教授一员、镇抚二员、左前后三所千户十四员、百户二十员。灵山卫城驻有左、中、右三所，每所1120人，共计3360人。正统年间土木堡之变抽调卫所驻军保卫北京，右中两所在这一时期被抽调，后裁撤中右两所，灵山卫城只保有左所。嘉靖时期灵山卫城有：千户十员，百户十八员，京操军1213人（含夏河寨所100余人），屯军287人（含夏河寨所屯军），捕倭军191人（含夏河寨所），守城军馀116人，守墩堡军馀80人。