漢獻帝建安四年（公元199年），孫策讓張纮前往許都，向漢獻帝進貢。曹操想要安撫籠絡孫策，
就上表漢獻帝任命孫策為討逆將軍，封吳侯，并委任張纮為侍御史。期間，少府卿孔融等都待張纮十分親善。
建安五年（公元200年）四月，孫策在出獵途中遇刺身亡，其弟孫權繼位，統領江東。
曹操聽說之后就想借機出兵，攻打江東。張纮進諫勸阻，表示在別人辦理喪事的時候出兵，
不合符古代的道義；并且倘若不能成功，就是多了一個敵人；不如趁機厚待孫權。曹操聽從了張纮的建議，
隨即上表朝廷，任命孫權為討虜將軍，兼任會稽郡太守。曹操想要借助張纮勸降孫權，讓他歸附朝廷，于是就委任張纮為會稽郡東部都尉。
當時曹操擔任司空，想要籠絡張纮，不僅對他贊許有加，還給他改號加封，禮聘為幕僚，
后來還任命張纮為九江郡太守。但是張纮懷念舊主孫策的恩德，不愿背叛，不久就稱病辭官。
張纮從京城回到吳郡，吳太夫人認為孫權還太過年輕，就委托張纮與張昭共同去輔佐他。
張纮思慮深刻，發現有缺漏就立即補救，凡是自己知道的事情都認真處理。孫權后來又派張纮去揚武都尉董襲的部下就職，
有人認為張纮本來受到曹操的委任，擔心他另有意圖，孫權卻并不在意。
建安十四年（公元209年），孫權領兵包圍合肥。張纮被任命為將軍府長史，隨軍征戰。合肥久攻不下，
孫權想要親自率軍破敵。張纮進言表示，兵器乃是兇器。戰爭本是危險之事，現在孫權仗著強盛的勇氣，
輕視強暴的敵人，三軍將士，無不為他擔心。孫權親自沖鋒陷陣，固然能斬殺敵軍大將，
拔下他們的軍旗，威震疆場，但這是偏將的指責所在，而不是一個主將該做的事。張纮希望孫權能壓抑住孟賁、
夏育一般的勇氣，而致力于皇圖霸業的建立，爭奪天下。孫權聽了，這才決定撤兵，不再執意領兵作戰。
到了第二年，孫權又要出兵。張纮勸阻他，自古以來秉承天命為帝王的君主，雖有神明庇佑，
得以傳播民政德澤，但是也要借助軍事成就樹立威望。只不過必須看準時機而后動，才能真正取得成就，
樹立威風。如今孫權碰上四百年一次的天下厄運，已經建立起了扶助漢朝社稷于危亡的功績。
倘若能暫且關心軍隊，讓將士們休養生息，開拓荒地，加強農業生產，并舉用賢才，推行寬和優惠的政策。
順從天意，在適當的時候再站出來討伐奸兇，這樣就能不使軍隊疲于奔命而把天下平定。孫權再次聽從了張纮的勸告，停止出兵。
黃龍元年（公元229年）四月，孫權登基為帝，建國號為吳。
初，張纮認為秣陵縣（今江蘇省南京市）山川雄偉，地理位置優越險要，提議孫權作為治所；
等到劉備向東經過秣陵的時候，他也勸孫權據有這塊地方，孫權于是建造石頭城。同年九月，孫權在張纮建議下遷都秣陵，并改秣陵為建業。