张释之字季，是南阳堵阳人。他与哥哥张仲一起居住，靠家产捐官担任骑郎，侍奉汉文帝，十年没有得到升迁，没有什么名气。张释之说：“长期做官耗费哥哥的家产，心里不安。”想要辞官回家。中郎将袁盎知道他贤能，惋惜他离去，于是请求汉文帝调任张释之补任谒者。张释之朝见完毕后，趁机上前陈述有利于国家的事情。汉文帝说：“说些切合实际的话，不要高谈阔论，要让现在就能施行。”于是张释之谈论秦汉之间的历史，讲述秦朝灭亡、汉朝兴起的原因。汉文帝称赞说得好，任命张释之为谒者仆射。

张释之跟随汉文帝出行，汉文帝登上虎圈，询问上林尉禽兽的登记情况，一连问了十几个问题，上林尉左顾右盼，都回答不上来。虎圈啬夫在旁边代替上林尉详细回答了汉文帝所问的禽兽登记情况，想要以此显示自己能言善辩、应对无穷的才能。汉文帝说：“官吏不应该像这样吗？上林尉真是无能！”下诏让张释之任命啬夫为上林令。张释之上前说：“陛下认为绛侯周勃是什么样的人？”汉文帝说：“是忠厚长者。”张释之又问：“东阳侯张相如是什么样的人？”汉文帝又说：“是忠厚长者。”张释之说：“绛侯、东阳侯都被称为忠厚长者，这两个人谈论事情时常常说不出话来，难道要效仿这个啬夫喋喋不休、能言善辩吗！况且秦朝因为任用那些舞文弄法的官吏，官吏们争相以办事急促苛刻、明察秋毫相互标榜，他们的弊端是空有文书形式，没有体恤百姓的实际举措。因此皇帝听不到自己的过失，逐渐衰败到秦二世时，天下土崩瓦解。现在陛下因为啬夫能言善辩就越级提拔他，我担心天下人会跟风效仿，争相逞口舌之利，而不讲求实际。况且下面的人受上面的人影响，比影子和回声还要快，陛下的一举一动不能不谨慎啊。”汉文帝说：“说得好。”于是停止了提拔啬夫的打算。

汉文帝上车，召张释之陪乘，车子缓缓前行，汉文帝边走边询问张释之秦朝的弊端。张释之都如实回答。回到宫中，汉文帝任命张释之为公车令。

不久后，太子与梁王一起乘车入朝，经过司马门