惠帝的时候，季布是中郎将。当时匈奴很强大，根本不把汉朝放在眼里，单于写信侮辱吕后，吕后非常气愤，就召集各位将领来商量如何对付匈奴。上将军樊哙高傲地说道：“给我10万兵，让我立刻消灭他们！”其他将领在吕后面前不敢反对，都想奉承吕后，于是也跟着说：“是啊，是啊，把他们消灭掉！”这时，季布上前说道：“樊哙当斩首！当初高祖率领40万兵攻打匈奴，都被匈奴围困在了平城，如今樊哙就想用10万兵来打倒匈奴，这怎么可能呢？简直是异想天开！再说，秦朝因为对匈奴用兵，陈胜等人乘机起义，樊哙在这个时候却敢阿谀奉承，难道是想动摇天下吗？”大家听了季布的话，都感到十分惊恐。吕后宣布退朝，再也不提攻打匈奴的事。
汉文帝的时候，季布做河东郡守。有人说他很有贤能，皇上于是就召见季布，想让他当御史大夫。但又有人说季布虽然勇敢，可是酗酒成性，难以接近，不能任用。季布来到了京城，在馆舍里住了一个月才被皇上召见。皇上一见到季布，就让他回原郡。季布心里很不高兴，就向皇上说道：“我没有立过功，却受到皇上的恩宠，让我当了河东郡守。现在皇上突然要召见我，一定是有人拿我来欺骗皇上，而当我来到京城，还没有做任何事情，就回原郡，肯定是有人在说我的坏话。皇上随便听了一个人的好话就召见我，又随便听了一个人的污蔑之词就打发我走，这件事要是被天下有见识的人听说了，恐怕他们会嘲笑您的。”皇上无言以对，感到非常惭愧，好半天才说了一句：“我不是那个意思，你想多了！河东郡是最重要的郡，而你是郡守，所以我才特别召见你啊！”