光绪十四年（1888），武七花钱4000余吊，在堂邑县柳林镇东门外建起第一所义学，取名“崇贤义塾”。武七用了整整三十年的时间来实现他的理想，在这三十年里，他受尽苦难，但始终坚定的一步步迈向他的目标。学校建成后他亲自到当地有学问的进士、举人家跪请他们任教，并到贫寒人家跪求他们送子上学。当年招生约50余名，依循惯例分为蒙班和经班，学费全免，经费从武七置办的学田中支出。每逢开学第一天时，武七都要先拜老师，次拜学生，这种仪式持续多年。每次置宴招待老师，他都请当地名绅相陪，而自己则站立门外，专候磕头进菜，待宴罢吃些残渣剩羹便匆匆而去。平时，他常来义塾探视，对勤于教课的老师，他叩跪感谢；对一时懒惰的老师，他跪求警觉。有一次老师睡午觉睡过了头，学生在学堂内打闹，武七径直来到老师的房前，跪下高声唱道：“先生睡觉，学生胡闹，我来跪求，一了百了”。老师十分惭愧，以后再也不敢疏懒。对贪玩、不认真学习的学生，他下跪泣劝：“读书不用功，回家无脸见父兄”。就这样，义塾老师对他十分敬惮，而学生也不敢有丝毫懈怠，大家都严守学规，努力上进，学有所成者甚众。
光绪十六年（1890），武七与寺院合作，在馆陶县杨二庄兴办了第二所义学。光绪二十二年（1896），武七又靠行乞积蓄，并求得临清官绅资助，用资3000吊在临清县御史巷办起第三所义学。武七一心一意兴办义学，为免妻室之累，他一生不娶妻、不置家。其兄长亲友多次求取资助都被他拒绝，他唱道：“不顾亲，不顾故，义学我修好几处。”山东巡抚张曜闻知武七义行，特下示召见，并下令免征义学田钱粮和徭役，另捐银200两，并赐名武七为武训。同时奏请光绪帝颁以“乐善好施”的匾额。武训的绝世奇行轰动朝野。清廷授以“义学正”名号，赏穿黄马褂。从此武训声名大振。光绪二十二年（1896）4月23日，武训病逝于御史巷义塾。根据《清史稿》的记载，“（武训）病革，闻诸生诵读声，犹张目而笑”。就这样，武训在众学童朗朗读书声中含笑离开了这个世界，享年五十九岁。出殡当日，堂邑、馆陶、临清三县官绅全体执绋送殡，遵照武训遗嘱归葬于堂邑县柳林镇崇贤义塾的东侧。各县乡民自动参加葬礼达万人以上，沿途来观者人山人海，一时师生哭声震天，乡民纷纷落泪。
陶行知先生的短诗《武训颂》对武训的一生做了概括，诗中这样说：“朝朝暮暮，快快乐乐。一生到老，四处奔波。为了苦孩，甘为骆驼。与人有益，牛马也做。公无靠背，朋友无多。未受教育，状元盖过。当众跪求，顽石转舵。不置家产，不娶老婆。为著一件大事来，兴学，兴学，兴学。”虽有人质疑武训受赏黄马褂一事的真伪，但武训为朝廷隆重嘉奖、为时人称颂却是不争的事实。清王朝当时已是大厦将倾、摇摇欲坠，仍令国史馆为武训的事迹立传，这使得武训和他的事迹倍受当世瞩目。根据《清史稿》宣统本纪的记载，“己未，予积赀兴学山东堂邑.义丐武训事实宣付史馆。”武训的事迹后来被编入《清史稿》列传二百八十六孝义一节中。
所有武训生前事迹，除了国史馆已奉令为之立传外，梁启超先生还专门为他撰写了十分精彩的《兴学节略》，以资表扬。梁文中说武训的义塾“行之数十年，弟子卒业而去者，不可胜数”，而他始终“日以两钱粗馒终其身”。文中最后总结道，“铢积寸累，惟以兴学为事。殆所谓奇节瑰行，得天独厚者欤！”梁启超乃当时维新变法的领袖人物，又是知识界泰斗，在他的倡导下，武训受到越来越多的人的瞩目。张默生《异行传》里也专有义丐武训一节，宣传他的事迹。1903年山东巡抚衙门为武训修茸了陵墓、建造了武训祠，并立碑为纪。到了民国时期，为纪念清末闻名中外的“平民教育家”、“义学正”武训，时任山东教育厅长何思源先生拨款重建了武训祠。何思源还在武训祠堂立了尊武训汉白玉雕像，这座雕像比真人略大。据解放后当地曾见过武训的老人们都说这座雕塑像酷似武训本人，可惜在文革中被红卫兵毁坏。1932年，当时的山东省主席韩复榘为纪念在临清倡办义学的武训，建造了“武公纪念堂”，并在纪念堂两侧建造了两个“武公纪念厅”。
