“給神經網絡提供輸入向量,讓它根據自己的參數矩陣輸出對應的輸出值,我們將之稱為前向傳播。用數學語言來描述就是這樣。”
“記第l層的第i個神經元的激活值為a(l)i,參數記為行向量(·)(l)i的話,如果這一層有s個神經元,那么這一層行向量的維數就有sl+1維……”
“這個多出來的1是從哪兒來的?”周至又開始問問題了。
“因為我們要設置偏置單元。所以這一層的行向量就會是一個巨大的矩陣,它的行是s(l+1),列是sl+1。”
“這還只是其中的一層,”周至有點明白了:“之前你說過,這種每相鄰兩層的神經元全部互相聯接的方式,你們稱為全連接。其實最終的結果,是輸入層通過非線性激活函數穿透所有隱藏層之后的最終結果,也就是說,它是經過無數個矩陣疊加運算之后的結果,是吧?”
“差不多可以這樣理解。”麥小苗說道:“不過需要注意的是神經網絡中的權重和偏置這些參數是機器自己學習出來的,它們被稱為模型參數;而神經網絡一共有幾層、每層隱藏層有多少節點等等,這些參數是預先指定的,這種被預先指定且在學習過程中不改變的參數被稱為超參數。”
“這還只是單輸出的情況。如果我們要解決多元分類輸出的問題的話,運算結構就會變得更加的復雜,成為以上模型矩陣的再一次矩陣疊加。”
麥小苗有些激動,拉著周至的袖子:“回國之前,我一直擔心沒有人能夠理解這種數學理論的優越性,只被它需要耗費的資源與投入給嚇得止步不前了。要是按照部委那點撥款計劃來看……肘子,真的很感謝你。”
“要是按照那個撥款計劃來看,恐怕又會多一個手搓原子彈的勵志故事了。”周至說道:“其實宋主任他們也不是不理解,只不過……你現在也是家訪過好多小朋友家里的人了,應該明白現在國家需要用錢的地方,太多了。”
這就是這個國家如今的現狀,說多了都是淚,就連北斗導航實驗衛星系統工程這么重要的國之重器,先期理論驗證階段,一共兩次撥款,加起來才給了六十五萬。
“嗯,肘子你放心,我對自己帶來的這個運算模型是很有信心的,在理論上已經驗證過了的。”
“你能夠說服部委和科學院同意建立實驗室,本身就是大家對你有信心的表現。”周至笑道:“你也不用擔心我的看法,雖然我不明白你這些高深的數學知識,但我對你這個人有信心,小苗,放膽去干吧!”
“嗯!”麥小苗點頭:“但是……我有個問題。”
“什么問題?”
“就是你這樣老是問問題,容易變成聊天,最后影響到我的工作進度。”
“這樣啊……”周至幽幽地道:“其實今天的我,就是昨天的你……”
“啊?哈哈哈……”
“那我們這樣,立個規矩。”周至說道:“我們各自干自己工作的時候,除非必要交流,互不干擾。”
“好,不然浪費你的投資,怪不好意思的。”麥小苗笑道。
接下來的日子就進入了正常狀態,麥小苗來到這里,感覺自己變得健康而充實,早上六點起來跟著周至先清空系統內昨晚留下的待辦事宜;接著鍛煉身體,有時爬山,有時慢跑,有時練拳;之后吃早飯,上課,下午則安排家訪,或者去各地如科研基地,綠電工地,雞場,豬場進行探訪;或者跟著老赤日出去采集非遺;回來吃過晚飯,開始清空白天留下的待辦事宜,接著進入個人學習和研究,同處一室但各干各的,如非必要互不干擾環節。
不過緊張的學習工作的間隙里,必要的休息放松也是需要的。