晋室南渡、刘琨败亡之后，立足河东汾阴的薛氏家族是黄河以北仅存的汉族军事力量，在北朝历史上留下了光辉的一页。据《魏书》记载，薛辩的祖父薛涛，与薛祖、薛落分统部众，世号“三薛”。后来，另外两支衰落，薛辩的父亲薛强，带领部落，总摄三营，成为薛氏家族的核心人物。由于薛强善于安抚人心，汾阴一带的百姓都投奔于他。“历石虎、苻坚，常凭河自固。”薛氏家族从东晋末年开始，在汉赵、后赵、前秦时期，以汾阴为根据地，凭借黄河天险，固守一方80余年，抵抗匈奴、羯族、氐族等游牧族。明末思想家王夫之在《读通鉴论》中评价薛氏在十六国时期的作为说：“永嘉之乱，中原沦陷。刘琨不能保其躯命，张骏不能世其忠贞，而河东薛氏，聚族阻河自保，不仕刘、石、苻氏者数十年。”另一位思想家顾炎武在《裴村记》一文中也高度赞赏说：“汾阴之薛，凭河自保，于石虎、苻坚割据之际，而未尝一仕其朝；猗氏之樊、王，举义兵以抗高欢之众。此非三代之法犹存，而其人之贤者，又率之以保家亢宗之道，胡以能久而不衰若是？”
北魏初，薛强之子薛辩任北魏平西将军，东雍州刺史、并州刺史。北魏明元帝对薛辩十分器重，对薛辩说：“朕委卿西番，志在关右，卿宜克终良算，与朕为长安主人。”薛辩的儿子薛谨，任北魏河东太守、平西将军。始光年间（424—427），北魏讨伐赫连昌，薛谨率领“薛家军”为前锋。收复蒲坂之后，北魏把汾阴和蒲坂的百姓并为一郡，薛谨仍任河东太守，擢升为秦州刺史。不久，吕梁山的山胡白龙凭险叛乱，薛谨与镇南将军奚眷从太平县（今襄汾县西）北面入山，平定了叛乱。太延初，薛谨又率部平定了吐没骨叛乱。薛谨注重教育，创办学校，教以诗书，三农之暇，悉令青年受业，“躬巡邑里，亲加考试，于是河汾之地，儒道兴焉”。薛谨是薛氏家族历史上最早注重子弟教育的家族领袖，对河东一带的文教事业也有贡献。薛谨有五子：洪祚、洪隆、湖、昂、积善，即后世所称“薛氏五房”——薛氏五门大房。后来汾阴薛氏有作为者多为“薛氏五房”后裔，冠以“三祖五房”以示其谱系出处。
薛谨的长子本名洪祚，北魏太武帝赐名初古拔，多有战功。皇兴三年（469），薛洪祚与文成帝的女儿西河长公主结婚，拜驸马都尉。这是薛氏家族第一次与皇室联姻，在薛氏家族历史上具有标志意义，标志着薛氏步入世家大族之列。从曹魏末年迁居汾阴，到与皇室联姻，成为望族，薛氏家族历时210多年。
薛谨次子薛洪隆的曾孙薛端，战功卓著，晋封伯爵，任西魏吏部郎中、尚书右丞、吏部尚书。薛端长期任职吏部，选拔官员唯贤能是举，深得宇文泰赏识。北周时，薛端任户部尚书，晋封公爵。薛端历任西魏、北周的高官，官至从一品，是薛氏家族由武职官员向文职官员、地方官员向中央官员过渡的代表。薛端的儿子薛胄，在隋代官至刑部尚书。
薛谨三子薛湖的长子薛聪，在魏孝文帝时，深得信任，担任禁军统帅，“陪侍帷幄，言兼昼夜，时政得失，预以谋谟，动辄匡谏”。有一天，魏孝文帝与薛聪开玩笑说：“世人都说你们薛氏是蜀地人，你们到底是不是蜀人呢？”薛聪回答说：“我的远祖薛广德在汉朝为官，当时称为汉人。我的九世祖薛永，随刘备入蜀，当时称为蜀人。我现在是陛下的大臣，是虏人而非蜀人也。”魏孝文帝笑着说：“你说清楚你不是蜀人就行了，何必还要挖苦朕呢？”薛聪生气地把手中的戟扔在地上出去了。《资治通鉴》也记载了一个类似的故事。太和二十年（496），北魏议定天下士族门第，大家认为薛氏可以定为河东郡的世家大族，魏孝文帝说：“薛氏是从蜀地迁来的，怎么可以进入郡姓呢？”薛氏家族的薛宗起此时执戟站在殿下，出列回答说：“臣的先祖汉末在蜀地做官，两代以后重新回到河东，到今天已经传承了六世，我们不是蜀人。臣以为陛下是黄帝的后裔，受封在北土，难道可以称之为胡人吗？今天我们薛家不列入郡姓，我还活着干什么！”薛宗起将手中的戟扔在地上摔成碎片。薛氏被列入郡姓，魏孝文帝说：“爱卿不是‘宗起’，是‘起宗’啊！”抑或薛聪与薛宗起是同一个人。北魏时，汾阴薛氏已经进入世家大族之列。
