何武字君公，是蜀郡郫县人。汉宣帝时期，天下太平，四夷臣服，神爵、五凤年间多次出现祥瑞。益州刺史王襄派辩士王褒称颂汉朝功德，创作了《中和》《乐职》《宣布》三篇诗。何武十四五岁时，与成都人杨覆众等人一起学习演唱这些诗。当时，汉宣帝遵循汉武帝的旧例，寻求通达杰出的人才，在宣室召见何武等人。汉宣帝说：“这是彰显盛德的事情，我怎么配得上呢！”任命王褒为待诏，赏赐何武等人布帛后让他们回去。

何武前往博士那里求学，研习《易经》。通过射策甲科成为郎官，与翟方进志趣相投，结为好友。光禄勋举荐他具备德行、言语、政事、文学四行，升任鄠县县令，因犯法被免官回家。

何武有兄弟五人，都在郡中担任官吏，郡县的人都敬畏他们。何武的弟弟何显家有市籍，租税常常不交，县里多次拖欠赋税。市啬夫求商逮捕并羞辱了何显家的人，何显大怒，想要利用官吏的职权为难求商。何武说：“因为我们家的租赋徭役没有走在众人前面，奉公的官吏这样做不是应该的吗！”何武最终禀告太守，征召求商担任卒吏，州里的人听说后都佩服何武。

过了很久，太仆王音举荐何武为贤良方正，征召他对策，任命他为谏大夫，升任扬州刺史。何武弹劾上奏二千石长吏时，必定先公开奏章，服罪的人就减免其罪责，只罢免官职而已；不服罪的，就依法极力弹劾，使其抵罪甚至处死。

九江太守戴圣，就是号称小戴的《礼经》学者，为政多不守法度，前刺史因他是大儒，对他宽容。等到何武担任刺史，巡视部属审查囚徒，有需要举报的就交付郡府处理。戴圣说：“后辈书生懂什么，竟然想要扰乱别人的治理！”全都没有决断。何武派从事查访到戴圣的罪行，戴圣恐惧，自行免职，后来担任博士，在朝廷上诋毁何武。何武听说后，始终不宣扬他的恶行。而戴圣的儿子和宾客结伙为盗，被捕获关押在庐江，戴圣自以为儿子必死无疑。何武公正决断，最终让他儿子得以不死。从此以后，戴圣感到惭愧并佩服何武。何武每次到京师奏事，戴圣没有不登门谢恩的。

何武担任刺史时，二千石官员有罪，就及时弹劾上奏，其余贤能与不贤能的都同样敬重，因此郡国各自重视他们的守相，州中太平。何武巡视部属时，必定先到学校会见诸生，测试他们的诵读和议论，询问政事得失，然后才进入传舍，发出文书询问垦田的亩数、五谷的长势，之后才会见二千石官员，这成为常规。

起初，何武担任郡吏时，侍奉太守何寿。何寿知道何武有宰相之才，因同姓的缘故厚待他。后来何寿担任大司农，他哥哥的儿子担任庐江长史。当时，何武在官邸奏事，何寿哥哥的儿子恰巧在长安，何寿备办酒席召见何武的弟弟何显及老朋友杨覆众等人，酒酣之际，让他哥哥的儿子出来见他们，说：“这是我的侄子，担任扬州长史，才能低下，从未被何武召见。”何显等人非常惭愧，退下后告诉何武，何武说：“刺史是古代的方伯，由皇上委任，是一州的表率，职责在于进善退恶。官吏政绩优异，百姓有隐逸之士，才应当召见，不能有私人召见的情况。”何显、杨覆众极力劝说，何武不得已才召见，赐给他一杯酒。当年，庐江太守举荐了何寿哥哥的儿子。何武就是这样坚守法度让人敬畏。

何武担任刺史五年后，入朝担任丞相司直，丞相薛宣敬重他。调出京城担任清河太守，几年后，因郡中遭受灾害的面积超过十分之四被免官。过了很久，大司马曲