王安中在任時已有所覺察，曾向趙佶推薦過張令徽，趙宋朝廷也曾委任張令徽為節度使高官。
但即便是這樣，張令徽還是在郭藥師之下。
所以，張令徽心里一直很不平衡。
這也就導致郭藥師和張令徽矛盾不斷，在這次在與金人交戰的過程當中，郭藥師和張令徽互不信任，以至他們沒能戰勝金人。
蔡靖見郭藥師、張令徽、劉舜仁都敗退而歸，感覺形勢不妙，于是率領燕山府監司來到城南門內開會議事。
轉運使呂頤浩建議，立即組建一支二千人的敢死隊，然后打開城門，向南撤退。
說穿了，呂頤浩就是看出來了燕京的形勢不好，想要先跑。
提舉官沈琯則不贊成開城門，他認為，不管形勢多艱難，他們這些人都該為大宋守好燕京這個重要的前沿陣地。
蔡靖想了想，說：“現在大家先回去，可以與家人商議一下，不妨先送骨肉南歸。”
蔡靖回到家，對許采和蔡松年說：“今天，我們在南門里開了一個短會，他們都想棄城南撤，你們看如何？”
許采與蔡松年都認為，不可這樣做。
許采說：“公是守土之臣，豈可與他人相比？自當以死守之。況且，公若率諸人同行，他們都各有眷屬拖累。而且，今城南盧溝河一帶，敗軍滿野，他們無以泄發，寧知不會截殺我等？”
蔡靖說：“靖之意正如此。”
不一會兒，有人來報告說，呂頤浩與廉防使梁競攜帶家屬到達城南門，準備出城而去，另外有漕司吏卒大約一二百人，他們在城南門砸門，也想出城南逃。
蔡靖果斷下令說：“你立即帶人手持利刃，前去阻止，敢有乘亂而出者，斬之！”
過了很久，城南門一帶才平定下來。
這天晚上，燕京城里有傳言說，常勝軍可能要發生叛變。
許采聽到消息后，急忙向蔡靖報告。
蔡靖不太相信這個消息，他對郭藥師和常勝軍還是很相信的。
這時，呂頤浩、梁競等人都來到蔡靖家，他們力勸蔡靖棄燕而遁。
安撫司勾當公事吳激，也向蔡靖建議：“可退出燕京，以求自保。”
許采則對蔡靖分析說：“唐室之亂，如李、郭諸將，曾有退保者，他們各提重兵，或以此地未便，或就水草，或就地勢。但是，燕山乃公所治理之地，與上述情況不同。吳激之言非是，萬一公聽從了他的建議棄城而逃，等到他日，他們必然會將責任推到公身上，不可不察也。況且，如果常勝軍知道公率眾而逃，郭藥師他們也必然會以此為藉口，將公抓捕，公能逃往哪里？”
蔡靖深以為然。
呂頤浩和梁競聽了這話，嘴上雖然沒說什么，但臉上卻現出憤怒之色。
其實——
許采的分析得很有道理。
假如蔡靖真的聽從呂頤浩、梁競等人的建議，率眾南奔，那么必然是投之死地，不可能活著離開燕京地區，因為，常勝軍以及鄉軍剛剛戰敗，他們現在正盤踞在盧溝河與涿州之間燒殺搶掠，以發泄他們的郁結之氣，他們南逃真未必能活著逃出燕地，就算活著逃出燕地，也必然會被趙宋朝廷追責問罪。
十二月初八早上，蔡靖率各監司官員來到常勝軍駐地拜會郭藥師。
郭藥師將昨日之戰況與下一步之打算向大家做了簡要介紹。
郭藥師說：“昨日之戰，藥師以騎兵大敗之，追逐三十里，金人逃走，至申未間，回視步軍不戰，以為已敗也，遂馳歸，后聞乃是令徽不戰先退，步軍隨之為金國太子所追，直至潞縣，太子見其軍不繼，亦向東而遁。今且收拾軍兵入城以俟，待金人至城下，出兵盡死一戰，或不勝，則擁兵而南，以俟救兵之至。”
張令徽也不否認郭藥師所說的，他只問：“朝廷有援兵來乎？”
有人回答說：“指定沒有，大宋，除了咱們常勝軍，哪還有能戰之軍？”