樊胄識破了譚雄的緩兵之計，心中怒氣勃發，果斷放棄勸降，下令軍隊強攻四門。
但因為兵力分散，雖然城內的譚雄也有些疲于應付，攻城的效果并不好。
譚雄準備充分，樊胄軍靠近城墻都不易，雙方的交鋒是用弓箭遠程互射為主。
樊胄親自在四門巡視，對手下將領的攻擊非常不滿。
但將領們各有各的理由，一致建議樊胄“圍三缺一”，好讓譚雄棄城逃跑。
如果真的是孤城難守，有了逃走的通路，譚雄當然會棄城而走。
事實上，譚雄城內糧草充足，外有潘濬的援軍兼程趕來，肯定不會棄城逃走。
譚雄用緩兵之計，不但爭取了時間，也簡慢了樊胄的軍心。
在城下駐扎十余天以后才開始攻城，，樊胄軍早就沒有了兵臨城下的銳氣，一個個都是無精打采，裝模作樣的進攻，對城門沒有造成什么威脅。
反觀譚雄的手下，大部分是城內世家的私兵，知道樊胄招降在先，然后出爾反爾，不給眾人提供軍糧，擺明了要從自己的嘴里搶食。
軍卒們個個義憤填膺，為了自己和家族的利益，抵抗非常激烈。
為了加強攻擊的效果，樊胄集中進攻北門，甚至動用了軍法，殺掉了幾個畏縮不前的軍卒。
樊胄這招還是有效，他手下幾個心腹將領非常賣力，但因為軍士們不肯賣命，進攻沒有大的起色，連續兩日，傷亡不小，士卒連城墻都沒有攀上去。
照這樣打下去，不知道何時能夠攻破城池。
而樊胄派出的探子來報，潘濬的援軍已經過長沙，離武陵城最多只有三天的路程了。
潘濬在荊州名聲很大，文武雙全，雖然也只有五千軍隊，但樊胄有自知之明，可不認為自己五千烏合之眾能夠抗衡潘濬的精兵，不由萌生退意。
樊胄手下的謀士不少，有幾個還是有真才實學的，也是真心為樊胄謀劃。
他們看出事不可為，建議樊胄立即退軍，以免背腹受敵。
并建議他領軍退往零陵，與習珍合兵一處，才有希望擊敗潘濬。
在這個關鍵時刻，馬允和幾個與譚雄暗通款曲的人，看到了立功的機會，自然不愿意讓樊胄揚長而出，想要把樊胄拖在城下，又跳出來獻計道：
“樊將軍，譚雄如此愚弄我等，實在咽不下這口氣！潘濬的軍隊離此還有三天的路程，我們還有攻破城池的機會，所謂重賞之下必有勇夫，不如將軍重賞士卒，再猛攻城池一天，如果能夠打破城池，到時侯據城而守，自然不怕潘濬到來，如果打不下城池，還有兩天的時間，也可從容退走。”
樊胄知道，與習家兄弟合兵一處是最穩妥的辦法。
但因為習家兄弟一向看不起樊胄，這次功敗垂成，率軍前去投奔，樊胄害怕受到嘲笑。
雖然習珍不會拒絕樊胄投效，但乘機剝奪自己的兵權是肯定的。
劉備東征在即，樊胄如果拿不出像樣的功勞，這到手的武陵太守也會泡湯。
因此，樊胄猶豫不決，不想把家族耗費錢糧、自己辛苦招來的軍卒，拱手讓給習珍去建功立業。
聽馬允等人說得有理，不由心動，就準備組織敢死隊攻城。
樊胄下令盤點了一下軍資，看到盤點的結果，他的臉色變得有點難看了。