州牧和刺史都是州的长官，州牧权利更大；太守是郡的长官。所以，州牧最大，刺史次之，太守最小。
太守起源于汉景帝时。秦实施郡县制，将全国分为三十六郡（《史记》说法，《晋书》认为有四十郡），郡为最高当地行政区划，郡下设县，县下设乡，乡下设亭。郡的长官。称郡守。至汉景帝时，将郡守改称太守。至三国时，太守仍为一郡最高长官。
刺史的呈现是在汉武帝时期，最早不是行政长官而是督查官员。在秦代树立郡县制时，会在每个郡设监御史一名，监督郡守处理政务，有权向中心陈述。汉初一度废置。惠帝刘盈时康复监御史。到武帝时期为了加强对当地的监管，将全国分为十三个区域，称为州，每个州设刺史一名，监督地点州内的郡国（汉代郡国并行，有直属中心的郡和封王的国）。刺史没有固定治所，任职经常年在各郡国巡视。且刺史俸禄很低，只要六百石，刺史为了能够有所发展，更会加倍努力做出点成果。刺史任满，往往高升，前途无量。
西汉后期到王莽篡汉，都曾经改刺史为州牧，又有过改州牧回刺史。这便是州牧最早的由来。州牧俸禄二千石，远高于刺史。州牧还会打压暴乱，具有更大的权利。新莽时期的州牧乃至能够世袭，还颁发军职，手握兵权，本来刺史的督查责任由州牧的副手州监担任。州牧成了行政兼军事长官，所以州牧是掌兵的。
比及刘秀树立东汉，从头改州牧为刺史，可是刺史不再巡查各地，而是有固定治所。州也就成为郡之上的一级单位。这个准则一向延续到东汉末年三国时期。尔后刺史权利也逐步增大，有朝廷指令则可领兵作战。可直接向朝廷奏事。
东汉灵帝年间，呈现了一个非常重要的事情“废史立牧”。其时，宗亲刘焉向汉灵帝上书，称各地刺史、太守官风不正，私相贿赂，导致大众叛离，因而应该遴派有清名的皇室宗亲、重臣出镇各州，担任州牧，以停息事端。正逢其时民间紊乱四起，有两个州刺史被变民所杀，刘焉的主张得到采用。而刘焉自己有此主张也有自己的私心，由于他传闻益州有皇帝气，自己想谋求出镇益州，总算如愿。尔后，各州纷繁建立州牧，州牧相对于刺史来说，具有更大的自主权，能够自行募兵，具有独立的财政权，自行赏罚，官职还能够世袭。如刘焉身后，其子刘璋接任益州牧；荆州牧刘表身后，其子刘琮接任荆州牧。而刺史相对来说不享有这些特权，还要遭到朝廷操控。不过一些在各地任职时日久了的刺史多能加升州牧，所以边界不是很清楚。
东汉末年的州牧准则，恰恰便是导致了诸侯割据，一向延续到三国时期。一些割据实力攻下下某州（有时仅仅某州部分郡县）就会自立为某州牧。如呈现同盟还会尊对方为某州牧。如赤壁之战后，刘备占有荆州南部四郡加上向东吴“借”南郡，自立为荆州牧，还上表奏请孙权领徐州牧。
要说在三国时期，州牧和刺史最大的差异，便是州牧往往多由各割据实力的君主自行担任，或是给予不能彻底操控的同盟君主，而刺史会给属下部将。如曹操操纵朝政后仍自行兼任兖州牧、冀州牧，与刘备共抗吕布时表奏刘备为豫州牧。而关羽发起襄樊之战时的曹操属下的荆州刺史胡修便是个一般部将，没有太大自主权。再比方赤壁之战后刘备表奏刘表之子刘琦为荆州刺史，无自主权，由于那便是刘备的傀儡。而刘琦一死刘备就自立为荆州牧，有自主权。再有孙权先后自领徐州牧、荆州牧，而同样在东吴版图内的交州则先后由步骘、吕岱担任交州刺史，差异就很显着了。