正始四年(507年)正月，魏军的攻势逐渐拉开。此时，钟离城中仅有三千守军，但是凭借城池坚固，仍然让北魏军队吃尽苦头。一个月后，宣武帝害怕士兵水土不服，有了撤兵的意思。但是元英却不愿意走，一意孤行的继续围攻。此时萧梁的援军到来，用乱箭射伤了杨大眼，迫使这位名将撤出战斗。此后元英仍然选择进攻，却被对方放了一把火，烧断了进攻所用的桥梁，魏军损失了十余万人，只能撤退。而无法上阵的杨大眼，也最大限度的做好了接应工作，救济败兵，焚毁营帐和辎重，有计划的撤退了。
钟离之战地图
钟离之战是北魏建国以来第一次重大的军事失利，也可以说是北魏由盛转衰的转折点，二十五万精兵良将被损失掉了。宣武帝因此大为震怒。八月，将主帅元英贬为庶民，杨大眼贬为营州士兵。
钟离兵败几年之后，梁武帝萧衍又在蠢蠢欲动，宣武帝于是重新启用杨大眼，封其为太尉长史、持节、假平南将军、征东别将，继续抵抗萧梁进攻。杨大眼依然发挥自己来去如风、挡者披靡的作风，南梁前后所派攻魏的将领，都因为怕他而不敢渡江。久而久之，整个南梁都对杨大眼产生了恐惧。甚至当时有这么一个传说，淮、泗、沔、荆之间但有儿童啼哭的，父母就会吓唬他说“杨大眼到了”，小孩子没有不立刻停止啼哭的。当世时，人们都推崇他的勇猛果敢，认为不亚于三国时的关羽和张飞。用《魏书》里的评价，就是：“当世推其骁果，皆以为关张弗之过也。”
后来，宣武帝去世，杨大眼出任荆州刺史。荆州的蛮夷和土匪不少，杨大眼就整了几个草人，给它们披上青布。同时，他招来蛮夷，当着他们的面张弓射击草人。之后，他就会指着草人对蛮夷们说:"你们若胆敢叛乱投敌，我就像这样射杀你们。"对付土匪，杨大眼的武力威慑更绝，他前往山里与猛虎搏斗，并割下老虎的脑袋挂在集市上。这一下土匪们也害了怕，从此不敢作奸犯科。荆州地区在杨大眼的治下恢复了秩序。两年之后，杨大眼在任上去世。
说到这里，应该说说杨大眼是不是真的有双“大眼睛了”。其实答案是否定的，有个南朝人归降北魏后，曾经对杨大眼说：“我在南边的时候听到您的大名，以为您真的‘眼如车轮’，可是等到亲眼看见，原来跟平常人没什么不同啊！那您这个名字是咋来的呢？”杨大眼笑道：“两军对阵、旗鼓相望之时，我威严笼盖全局，只要一瞪眼，已经足能够吓得你们目不敢视，何必大如车轮呢？”呵呵，原来“大眼”并不是说的他眼睛大，而是说的他的眼神杀伤力大。
