金军从开封撤离之前，册立了原北宋宰相张邦昌为楚帝，妄图树立一个彻底听命于女真贵族的傀儡政权，控制黄河以南区域。金军撤离后，宋廷旧臣不再拥护张邦昌，张邦昌只好避位。五月，康王赵构即坐落南京应天府(今河南商丘)，改元建炎元年(1127)，是为宋高宗。宋高宗赵构即位之初，重用其时深孚众望的抗战派李纲为相。
这时河北、河东区域都有忠义民兵抗击侵略的金军。李纲要把这些力气加以安排、领导和运用，使其发挥更大的效果，便引荐宗泽任东京留守，张所任河北西路招安使，王躞为河东经制使，傅亮任经制副使，并提出变革军制，整理军纪，募兵买马等一系列建策，布置光复河东和河北失地。
但赵构、黄潜善、汪伯彦等人，却只想用割让土地和交纳岁币的方法，以求金人不再进军，决不敢作以武力进行抵挡的方案，因而对李纲的策划百般阻挠和损坏。李纲任相仅七十五天，即被免除，张所等抗战派也相继被免除。上书言事、力主抗金的太学生陈东和进士欧阳澈也被杀戮。女真贵族的烧杀掳掠，在北方强制推广奴隶制等行径，激起北方公民的装备抵挡。
河东区域的公民用红巾作标志，安排装备，处处突击金军。泽州(今山西晋城)和潞州(今山西长治)一带的忠义民军，曾猛攻金军大寨，金左副元帅完颜宗翰简直被俘。女真贵族怨恨红巾军，逐捕最急，常常妄杀布衣以泄愤，而红巾军却愈益强大。河北庆源府(今河北赵县)五马山(在今河北赞皇)上，有官员赵邦杰和马扩领导一支抗金部队，他们拥立自称信王赵榛的人作召唤，人数达十万以上，各地的许多抗金装备闻风响应。
河北西路招安司都统制王彦，率军渡河，攻占了新乡县城，后被金军打败，王彦率部转移到共城(今河南辉县)西山。他的部下都在面部刺上“赤心报国，誓杀金贼”八字，以表明与金军奋斗究竟的决计，这支戎行从此便以“八字军”著称。两河忠义民兵纷繁承受王彦的领导，部队扩大到十万以上，多次打败金军。此外，如幽燕区域的刘立芸、杨浩和智和禅师、刘里忙等人也别离安排抗金部队。
张荣领导的梁山泊水军，陕西邵兴(后改名邵隆)和邵翼安排的义兵，也都各自为战，英勇抗金。赵构和黄潜善、汪伯彦对北方公民的抗金奋斗，实际上采用敌视情绪。他们将“行在”迁往扬州，以求偷安吃苦。只要留守开封的宗泽，把那些归附在他的旗号下的各地农人起义军加以组合，并和黄河以北的忠义民兵获得密切联系，整理防护，以加强作战实力，建炎元年冬和二年春，宗泽率军击溃金军的大举进攻。
可是，他光复失地的方案一向得不到赵构的同意，几回吁请赵构回来东京，也未被采用，积愤成疾，与世长辞。接任东京留守的杜充，一反宗泽所为。北方公民抗金装备也遭受波折，先后为金军击破。建炎二年秋至三年春，金军又发起攻势，前锋直指扬州，赵构慌乱逃往江南。抵达杭州不久，苗傅和刘正彦发起政变，强逼赵构退位。吕颐浩和张浚联络韩世忠、刘光世和张俊起兵“勤王”，政变宣告失利。
东京留守杜充抛弃开封，率军退往江南的建康府(今江苏南京)。当年冬，金将完颜宗弼率大军渡江，占据建康府，杜充屈服，赵构又自杭州出走，流浪于海上。金军追至明州(今浙江宁波)，沿途遭受南宋军民的不断突击，遂于建炎四年春在大举掳掠后北撤。韩世忠在黄天荡一带阻拦金军，坚持四十天之后，金军以火攻破韩世忠军，才得回到建康。岳飞率部光复了建康府，金军退至长江以北。
绍兴元年(1131)，张荣的梁山泊水军在泰州(今属江苏)缩头湖打败金将完颜昌，抓获完颜昌之婿蒲察鹘拔鲁。金军又被逼抛弃淮东。金朝在建炎四年九月册立刘豫为“大齐皇帝”，树立傀儡政权，与南宋坚持，并集结重兵，攻击川陕。同月，宋川陕宣抚处置使张浚命都统制刘锡率五路军马，与金完颜宗辅(讹里朵)、完颜宗弼、完颜娄室所部在富平(今属陕西)举办大规模会战，宋军溃败，陕西五路大部损失。