这要先说说归义军是怎么建立的。安史之乱后，唐王朝从西域调兵回内地平叛，吐蕃人趁机侵占大唐西域之地，步步蚕食。
唐德宗建中年间，大唐在河西最后一个城池沙州也沦陷了，自此河西之地尽归吐蕃之手。吐蕃占领河西之后对待遗留下来的唐人非常残暴，焚烧庐舍，蹂躏禾稼，驱掠人畜，无恶不做。《旧唐书・吐蕃传》记载吐蕃：“用刑严峻，小罪剜眼或皮鞭鞭之，但随喜怒而无常科。囚人于地牢，深数丈，二三年方出之。”
在这种情况下，河西人民忍无可忍，决定起兵反抗。唐宣宗大中二年(公元848年)，在沙州大族张议潮的率领下，沙州人民首先起义，由于沙洲已经沦陷已久，吐蕃统治略有松弛，不想张议潮率众一举夺城，随后连下河西十余州。唐宣宗大中五年（公元851年），唐朝廷于沙州设置归义军，统领瓜、沙十一州，以张议潮为节度使。史载归义军统治区域非常大“西尽伊吾，东接灵武；得地四千余里,户口百万之家”，基本上也就比后来的西夏国少了贺兰山那块地。但是由于中原一直乱作一团，不仅没有给予河西以物质支持，还想方设法的削弱他们，对归义军十分的不信任。
为了得到唐朝廷的信任，张议潮的兄长张议潭留在了长安作为人质，他死后69岁高龄的张议潮亲自前往长安当人质。
张议潮入朝后，其侄张淮深继任节度使，但是朝廷却仅给予了一个沙州的节度使职位，这对张淮深的声望造成了巨大的打击，从此河西内部不再安宁，导致了军力下降。沙州大族索氏通过政变夺取了控制权，虽然张氏后来又夺了回来，但是已经无法恢复往昔势力了。
张氏夺回归义军控制权后，张议潮之孙张承奉继位，改称为“西汉金山国”，随后四面出击，四处树敌，而且还没有得到中央朝廷（后梁）的承认。由于不愿承认后梁的正统地位，遭到了后梁的记恨，使得后梁甚至支持甘州回鹘进攻归义军。
由于归义军在东线战场的失败，被回鹘打到了沙州城下，签订了可耻的城下之盟，认回鹘可汗为父，称臣纳贡。
由于张承奉的失策，众叛亲离，后梁乾化四年（公元914年）其死后政权落入了粟特后裔曹氏的手里，自此张氏归义军便结束了，历时160余年。
身为商人的曹氏，废除了金山国称号，降为归义军节度使，结好四邻，向周边的政权都建立友好联系，但是西夏的党项人独立后，不断进攻河西。宋仁宗景祐二年（1035年），党项人在取得甘州之后，攻瓜、沙二州，第二年降于党项，归义军政权彻底退出了历史的舞台。