萧何、曹参翻越城墙前往投奔刘邦，刘邦射了一封箭书入城，晓喻百姓说：“天下苦秦久矣。今父老虽为沛令守，诸侯并起，今屠沛。沛今共诛令，择子弟可立者立之，以应诸侯，则家室完。不然，父子俱屠，无为也。”城中父老响应刘邦的号召，杀死县令，迎接他入城，并想让他当沛县县令。
刘邦还待推辞，可是萧何、曹参那帮家伙都怕万一起义失败，全家都会被秦诛灭，大家都往后缩，谁也不敢当头领。最终刘邦只好自称“沛公”，正式举起了反秦的大旗，召集县中青壮子弟，很快就聚集了数千兵马。
秦二世元年(前207)十月，刘邦攻占胡陵(今山东金乡东南)、方与(今山东金乡北)两县，随即在丰邑击破秦泗水郡监的讨伐军。十一月，又在薛县(今山东滕州东南)、戚县(今山东滕州南)击杀了秦泗水郡守。
然而就在他的势力逐步壮大的时候，当年十二月，陈胜在下城父(今安徽蒙城西北)遇害，以章邯为主将的秦军开始了大规模反扑。刘邦从丰邑、沛县一直转战到萧县(今安徽萧县)一带，兵马越打越少，唯一的收获是得到了一个名叫张良的人才。
张良字子房，是韩国旧贵族的后代，城父(今安徽亳州东南)人。自从韩国灭亡后，他就心存报仇之念，曾于秦始皇二十八年(前219)在博浪沙(今河南原阳东南)狙击过秦始皇出巡的车驾。他雇佣了一名大力士，手持铁椎奋力向秦始皇乘坐的马车掷去，可惜事先情报不准，只砸碎了副车。秦始皇大怒，派人在附近大肆搜索了整整十天，张良无地存身，改名换姓，狼狈逃到下邳(今江苏宿县西北)。
张良在民间蛰伏了将近十年，其间据说得遇“圯下老人”，传授他《太公兵法》。圯就是桥梁，张良某日从桥上经过，见到一位老人不慎把鞋子落到了桥下。老人很不客气地对他说：“孺子，下取履(鞋)。”张良倒不生气，不但下桥去取了鞋子，还恭恭敬敬帮老人穿上。
老人大笑而去，过一会又折回来说：“孺子可教也。”要他五日后天一亮就到桥上来等。张良如约前往，老人已在桥上，责备他说：“和老年人定约，你怎么能晚到呢?”约定五日后再见。张良等了五天，公鸡才叫就去了，可还是慢了老人一步。再约五天，这回张良学了乖，大半夜地就等在桥上，等了没多久，老人就到了，很高兴地给了他一本书，说：“读此则为王者师矣。后十年兴。”
关东起义烽火燃起，张良也聚集了百余名青年响应。因为听说陈人秦嘉杀害了陈胜派去的监军，在留(今江苏沛县东南)立景驹为楚王，就前往投靠，路遇刘邦。张良向刘邦讲起《太公兵法》，大老粗刘邦竟然一听就懂，张良叹道：“沛公殆天授。”就跟从刘邦，做了厩将。
