明代中叶在江苏苏州有四位才华横溢且性情洒脱的文化人，被称为 “吴中四才子”或者“江南四大才子”，他们就是祝允明与唐寅、文徵明、徐祯卿。祝允明是长洲（今江苏吴县）人，因长像奇特，而自嘲丑陋，又因右手有枝生手指，故自号枝山，世人称为“祝京兆”。
祝允明擅诗文，尤工书法。楷书早年精谨，师法赵孟頫、褚遂良，并从欧、虞而直追“二王”。草书师法李邕、黄庭坚、米芾，功力深厚，晚年尤重变化，风骨烂熳。其代表作有《太湖诗卷》《箜篌引》《赤壁赋》等。其所书《六体书诗赋卷》《草书杜甫诗卷》《古诗十九首》《草书唐人诗卷》及《草书诗翰卷》等皆为传世墨宝。他的祖父祝颢官任山西布政司右参政，兴学重教，政绩颇著。外祖父就是明朝中期内阁首辅，被世称徐武功的徐有贞。
明英宗朱祁镇复辟当日便升任徐有贞兼任翰林学士，进内阁参预机枢政务，又加兵部尚书。天顺元年（1457年）三月，朱祁镇再封徐有贞为奉天翊卫推诚宣力守正文臣、武功伯，兼任华盖殿大学士，掌文渊阁事，赐诰券，子孙世袭锦衣卫指挥使（武功卫指挥使）。徐有贞接着就成为了内阁首辅，朱祁镇对徐有贞也是倾心委任，允许他可以随时进见。徐有贞有心要干点实事，而石亨他们却十分嚣张跋扈，于是徐有贞便开始疏远他们，而石亨和曹吉祥也敏锐的发现徐有贞有意疏远他们。本来是同一条船上的，现在他却要单飞，于是他们之间开始有了裂痕，最终决裂。而他们的这一切，却都在李贤的观察之中。
李贤，字原德，邓（今河南邓州市）人。宣德八年（1433年），李贤登进士第，授吏部验封主事。英宗复辟后，李贤迁翰林学士，入内阁，升吏部尚书。李贤入阁后，举贤任能，以惜人才、开言路为急务，名臣多为其所识拔。他为人耿介忠直，深受朱祁镇的重用。山东闹饥荒，国家拨出赈济的财物不足，朱祁镇召徐有贞和李贤来商议，徐有贞说赈济的财物多被官员中饱私囊。李贤说：“担心中饱而不赈贷，坐视百姓死亡，这是因噎而废食。”朱祁镇于是命增拨银两。
徐有贞经常在英宗面前提及石曹二人的不法行为，挑起英宗对二人的不满情绪。后来，御史杨瑄上疏弹劾石亨、曹吉祥，称二人侵占民田。徐有贞与阁臣李贤皆称杨瑄所奏属实，明英宗遂下诏褒奖杨瑄。石亨、曹吉祥大为怨恨，日夜图谋构陷徐有贞。由于朱祁镇宠信徐有贞，常屏退左右随从，与其密谈。曹吉祥便让小太监窃听二人谈话，然后再故意把听到的内容泄露给英宗。明英宗非常惊讶，询问他如何得知。曹吉祥道：“我是从是徐有贞那里听说的。陛下哪天对他说过什么事，外面没有不知道的。”明英宗信以为真，从此逐渐疏远徐有贞。御史张鹏等人上疏弹劾石亨，结果奏疏还未呈上，便被给事中王铉泄露给石亨、曹吉祥。石、曹两人怀疑是出于徐有贞、李贤的主意，便到朱祁镇面前哭诉，称是由内阁在幕后指使。于是朱祁镇将徐有贞和李贤投进监狱。而此时正好京师天象突变，雷电交加，冰雹大作，狂风吹折树木。英宗认为这是上天示警，便释放二人，将徐有贞贬为广东参政；李贤被贬为福建参政。
曹吉祥此时授意宫里的太监散布徐有贞坏话，在徐有贞上任路上，石亨派人到处散发对英宗大肆指斥，然后嫁祸给徐有贞，称是徐有贞因怨望而指使门客马士权所为。果然气的明英宗朱祁镇再下严旨，徐有贞在德州被追上，抓回北京，与马士权一同关进诏狱。但经过审讯，却查无实据。不久，明英宗朱祁镇因承天门失火，便大赦天下。石亨担心徐有贞获释，对明英宗道：“徐有贞封爵时，自撰诰券辞文，其中有‘缵（zuǎn）禹成功’之句，而且他还选择武功县为封邑。大禹曾受禅称帝，而武功县曾是曹操封邑。他这是以大禹、曹操自比，有非份之望。”刑部侍郎刘广衡认为应将徐有贞斩首弃市。最终，朱祁镇将徐有贞贬为庶民，流徙金齿（在今云南）。