惠帝的时候,季布是中郎将。当时匈奴很强大,根本不把汉朝放在眼里,单于写信侮辱吕后,吕后非常气愤,就召集各位将领来商量如何对付匈奴。上将军樊哙高傲地说道:“给我10万兵,让我立刻消灭他们!”其他将领在吕后面前不敢反对,都想奉承吕后,于是也跟着说:“是啊,是啊,把他们消灭掉!”这时,季布上前说道:“樊哙当斩首!当初高祖率领40万兵攻打匈奴,都被匈奴围困在了平城,如今樊哙就想用10万兵来打倒匈奴,这怎么可能呢?简直是异想天开!再说,秦朝因为对匈奴用兵,陈胜等人乘机起义,樊哙在这个时候却敢阿谀奉承,难道是想动摇天下吗?”大家听了季布的话,都感到十分惊恐。吕后宣布退朝,再也不提攻打匈奴的事。
汉文帝的时候,季布做河东郡守。有人说他很有贤能,皇上于是就召见季布,想让他当御史大夫。但又有人说季布虽然勇敢,可是酗酒成性,难以接近,不能任用。季布来到了京城,在馆舍里住了一个月才被皇上召见。皇上一见到季布,就让他回原郡。季布心里很不高兴,就向皇上说道:“我没有立过功,却受到皇上的恩宠,让我当了河东郡守。现在皇上突然要召见我,一定是有人拿我来欺骗皇上,而当我来到京城,还没有做任何事情,就回原郡,肯定是有人在说我的坏话。皇上随便听了一个人的好话就召见我,又随便听了一个人的污蔑之词就打发我走,这件事要是被天下有见识的人听说了,恐怕他们会嘲笑您的。”皇上无言以对,感到非常惭愧,好半天才说了一句:“我不是那个意思,你想多了!河东郡是最重要的郡,而你是郡守,所以我才特别召见你啊!”