現在的長沙城，除去張德能的第四軍外，惟獨只剩下了張小虎的二十師。
二十師是孫玉民的起家部隊，坐擁58、59、60旅三個旅九個團，外加炮團和師部直屬部隊數萬人馬，較之有59、90、102師三個師的第四軍，兵力和裝備都在其之上。按照薛岳的親自劃分，岳麓山及其周邊歸張德能第四軍防守，長沙市區歸張小虎第二十師防守。
孫玉民在前往湘北之前，就叮囑交待過張小虎，讓他切勿把第四軍當成十二軍的部隊，以前歐震在任時，第四軍尚還是一支鐵軍，可自他升任二十七集團軍副總司令以后，第四軍的戰力就每況愈下，張德能實不是一個能真心托付之人，這種友軍完全不可靠。他再三交待張小虎，凡事都要靠自己，凡事都要想著弟兄們，雖然沒有明著說出，讓他在適當時機棄城而退，可話已經算是講得很明白。
孫玉民交待張小虎這些話，并不是他也存著保存自身實力，故意放棄長沙，而是他清楚，長沙是不可能守住的，日軍這次可是拼全力而為，不僅十一軍的所有主力傾巢而出，甚至還調動了周邊的兵力進行攻擊牽制，防止第三戰區等等各處的國軍兵力進行增援。
歷史上，自1944年6月16日開始，日軍在航空兵第一飛行大隊的直接支援下，對岳麓山和長沙市區發動總攻，第34師團當天就攻占了岳麓山東、西的虎形山和牛形山。這兩處是掩護岳麓山的門戶，張德能在這兩處陣地，各布置了一個團，可在飛機、重炮和坦克的攻擊下，一個下午日軍就攻破了這兩處陣地，到了黃昏時，日軍第58師團甚至攻破了第59師師部所在的修械所陣地，無奈之下第59師只得退守妙高峰、天心閣核心地帶。
打了一整天，敵我雙方都是疲憊不堪，不約而同地選擇了偃旗息鼓。一夜無戰事，讓張德能誤以為日軍已經是強弩之末，在指揮部里長舒了一口氣，可沒料到，早飯還沒吃完，日軍的飛機又飛臨了戰場的上空，自然又是一通狂轟濫炸。鬼子步兵也在飛機、重炮的支援下，向天心閣和桃花山的第59師陣地發起猛攻，更為毒辣的是，鬼子為了能達到速戰速決的時地，向第四軍的陣地發射了大量的毒氣彈，其中不乏有嚴重違背人道主義的糜爛性毒氣。
59師的確展現出了中國軍隊的頑強斗志，可無奈于沒有防毒面罩，死傷極為慘重，可盡管如此，他們還是給了日軍極為沉重的打擊，而且59師的殘部竟然打穿了鬼子的包圍，返回到了長沙城內。
那邊打的慘烈，這邊也是同樣的人間地獄。日軍第68師團師團長佐久間為人親自率領著第58旅團，繞過第34師團，從34團的右翼迂回至國軍守軍第90師的左翼，猛攻其駐守的燕子山陣地，只一波攻擊就讓防守主陣地的第90師第268團損傷過半，師長陳侃數次致電一江之隔的張德能，請求援救。
其實以90師的實力，依仗著岳麓山的地形，再堅守一兩日是決無問題的，可正是因為陳侃的數次求救，使得張德能決定將全軍主力增援岳麓山，除去給各師留下了一點“種子”部隊外，其余部隊全部于入夜時分渡湘江，增援岳麓山。
由于命令十分突然，渡河準備的極其倉促，加上日軍在牛形山及其東面以猛烈炮火側擊強渡的部隊，致渡江部隊死傷慘重，如果再繼續渡河，恐怕第四軍的主力在尚未見到鬼子的面就將被打殘，張德能無奈之下，只得命令后續渡河部隊折返東岸。
這尚且不算什么，眼見著軍主力渡河失敗，90師師長陳侃認為死守岳麓山會是條死路，所以他自作主張，趁夜帶著部隊逃離了岳麓山。待到第四軍渡過江的部隊到達時，岳麓山核心陣地已經被日軍占領，只得轉向而逃，偏偏又碰上日軍第三十四師團的部隊，接觸性地交火后，便被迅速擊潰，一路敗逃至邵陽地區。