太尉作为最高武职，除了评定全国武官的功绩高下、以为升降的依据外，就是作为皇帝的最高军事顾问。汉朝军队由各将军、校尉统领，太尉不能直接指挥军队。例如周勃平定诸吕之乱时，身为太尉，却不能进入上将军吕产所指挥的北军，只得诈称帝命方进入北军营地并取得指挥权。
魏晋南北朝
按魏武帝曹操废三公制，自任丞相。其子曹丕即位时短暂恢复，拜贾诩为太尉。后又撤销。曹叡时，青龙三年(235年)大将军司马懿转任太尉，驻兵雍凉。
隋唐至元朝
隋唐以来，决策权转移至中书门下，而行政权在尚书六部手中。三师(太师、太傅、太保)、三公(太尉、司徒、司空)品级虽高，无实际职事，一般只是作为加官，尤以唐后期各种检校官为甚。
宋初三师三公只是作为升迁资序所用，并无执掌。太尉旧在太保之下，自五代以来则提升至次于太师而在太傅之上。徽宗年间重定武官制度后，太尉成为武阶官之首，而司徒司空则被三少所代替。
元代三公仅作为加衔，后期也是加授极滥。
明清以后以原三师为三公，不设太尉。
另外，在某些礼仪中会出现以其他官员临时充当太尉等职位的现象。如宋真宗天禧元年宣读天书之礼，分别以向敏中摄太尉，王曾摄司徒，张知白摄司空。诸如此类都是礼毕即罢，并非真行除拜。
