汉代的地方政府分为两级，即郡与县。全国共有一百多个郡，一个郡辖十多个县。郡长官叫太守，地位与九卿平等，也是二千石官员。郡太守调到中央可以做九卿，再提升即为“三公”；九卿也可以放出来做郡太守。古人云：“郡县治，则天下安。”郡县能否治好，地方长官至为重要，西汉历经武帝、昭帝、宣帝三朝的名臣黄霸，就是其中杰出代表。
　　据史料记载，黄霸曾任扬州、颍川两郡太守，治理有方，政绩突出。尤其是在颍川前后担任太守八年，成就斐然，获得“治为天下第一”的好评。“自汉兴，言治民者，以（黄）霸为首。”（《汉书·循吏传》）汉宣帝神爵四年（公元前58年）四月，朝廷在诏书中赞扬他：“颍川太守（黄）霸，宣明诏令，百姓向化，孝子、弟弟、贞妇、顺孙日以众多，田者让畔，道不拾遗，养视鳏寡，赡助贫穷，狱或八年无重罪囚；吏民乡于教化，兴于行谊，可谓贤人君子矣。《书》不云乎。股肱良哉。其赐爵关内侯、黄金百斤、秩中二千石。”（同上）
　　大政治家管仲说过：“政之所兴，在顺民心。政之所废，在逆民心。”黄霸深谙此理，在施政实践中以顺民心为要务，亲民爱民，体恤民情，改善民生，开启民智，提升民德。
　　基于民本思想，黄霸采取较为开明宽和务实的方式实行治理。汉武帝末期，加强中央集权，推行严刑峻法。汉昭帝即位，大将军霍光执政，大臣争权，相互倾轧，为了稳定局势，霍光沿用武帝时做法，实行高压统治，以严厉刑罚约束官民。于是朝廷与地方官吏都崇尚严酷，以打压他人为能事，唯有黄霸以宽容温和风格从政行事。无论担任什么官职，黄霸始终坚持廉洁奉公，善待民众，“处议当于法，合人心”，赢得官民一致爱敬。
　　汉宣帝为戾太子之孙，在民间长大，了解百姓疾苦。霍光去世后，汉宣帝决意革除弊政，接连发布诏书，推出一系列惠民政策。当时，许多地方官吏拒不宣传诏书精神，隐瞒朝廷惠民政策，仍借苛捐杂税盘剥百姓。时任颍川太守的黄霸，却指派优秀官吏深入乡村，宣讲诏书内容，让老百姓都知道皇上恩典与朝廷惠民政策。
　　在颍川太守任上，黄霸推行一系列有益举措。大力发展农业，劝导农民搞好耕种桑蚕，节俭增收，种植树木，养殖牲畜，不喂养吃谷的马匹。这些米盐之事十分繁琐，却关乎民生，黄霸付出大量心力督导推行。做好救困济贫，让驿站、乡里治所都喂养鸡猪，以便赡养鳏寡贫穷者。乡村有孤独老人去世，没有后人办理丧葬，黄霸就指示乡里出面料理。注重民众教化，挑选德高望重长者担任伍长，让他们在民间作为表率并进行自治，引导民众向善去恶防奸；这样有利于提升民众道德水平，让有德行的好人日益增多。维护社会治安，主要以教化为先，教化不改，然后诛罚。黄霸注重“普法”教育，将国家刑律均告之于民，达到家喻户晓，并且制定安民条款，规劝民众遵章守法，故而本郡犯罪率极低，盗贼日益减少，奸人歹徒纷纷流向它郡。
　　毫无疑问，黄霸取得卓越的政绩，无疑与他的个人品德、能力密不可分。史书说他“为人明察内敏，又习文法，然温良有让，知足，善御众”。黄霸勤于政务，深入实际，熟悉情况，处事得当。他曾督办孤独死者的丧事，嘱咐下属哪个乡的大树可以砍伐作为棺木，哪个驿站饲养的猪可以用来祭祀。下属官吏依言前去，证实他所说一言不差，叹服他有如神明。除了自己明察暗访之外，黄霸还常派官员深入民间，实地探访情况。有一次，他安排一名年长清廉的属吏出行访察。属吏一路风尘仆仆，不敢在邮亭进餐，饿了就在路边吃自带的食物，一只乌鸦忽然飞过来，叼走他手里的肉。恰巧有人要去郡衙，看到了这一幕，就告知于黄霸。属吏回来后，黄霸迎上去慰问道：“您出差太辛苦了，在路上吃饭还被乌鸦抢走了肉。”下属大惊，以为黄霸对他行踪了如指掌，故而如实汇报情况，丝毫不敢有所隐瞒。
　　黄霸不仅体恤民众，而且关爱官吏。许县县丞年纪老了，耳朵也聋了，督邮报告黄霸要辞退他。黄霸说：“这县丞是一个廉洁的官吏，虽然上了年纪，还能应付官场拜起送迎之类公事，即使聋了，又有何妨？还是给予帮助关照，不要让贤德之人失意。”有人请教个中缘故，黄霸解释说：“一再更换长吏，送旧迎新的费用，以及狡猾官吏乘机销毁账簿文书而盗窃财物，对于公私都是很大损失，所有费用都得百姓埋单；换上的新官未必贤良，也许还不如前任，白白反复加剧混乱。大凡治民之道，主要是不要做得太过头即可。”黄霸如此“外宽内明”，故而“得吏民心”。
　　当然，黄霸并非完人，也有其局限所在。因治理颍川有功，黄霸被征召进京，担任太子太傅，随后又为御史大夫。五凤三年（前55年），丞相丙吉去世，黄霸接任为丞相，封建成侯。丞相为政府首脑，统领百官，总揽朝纲，发号施令，既要知人善用，又要驾驭全局。在丞相职位上，黄霸表现得并不卓越，风采不及魏相、丙吉、于定国等名相。不过，黄霸擅长于在地方为官治民，治理颍川的政绩有口皆碑，不愧为汉代第一地方长官。