Deep Learning 深度學習基礎

Deep Learning 深度學習基礎¶

全書由淺到深，解釋基本NN再從案例逐步帶到CNN以及RNN還要強化式學習，同時搭配tensor flow的使用案例，是入門深度學習的好書

Neural network(NN)有點像神經元，接受端-》輸出端，再加入hidden layer，去找出每個輸入參數的影響權重，需要考慮的問題時什麼時刻該停止尋找，這取決於每次找尋的step間隔以及怎麼知道找到的值是最小值、最大值還是鞍部，當維度升高時，鞍部的判斷會更加複雜，並且也很難以圖示化

CNN卷積神經網路，把多個參數轉化成深度（取特徵、filter)，舉例來說多個橫向的點解讀成橫線，根據特徵把特定長短橫線解讀成眉毛等，以避開當輸入參數加大時，快速增加的算力需求

最大池化（max pooling) 像是打馬賽克，把不至於的細節壓縮

至此，卷積網路價格大致上的模式已形成，一個輸入層、壓縮層（多個）、全連接層（傳統NN)、softmax(找局部最大小值），其中壓縮層又再細分為卷基層（可多次）跟池化層。

RNN，遞迴神經網路，像是語言預測可能是長度不定的句子或是篇章，比較適合的方法是把片段解讀出主詞、受詞、介系詞等，再來去預測他的關聯性。這樣做的缺點是無法處理長度較長又互有關聯的句子，如果在每個短句的訓練中，將中間層的結果再回傳給下一個短句的解讀，不停重複就可以考量到句子中的大多數含義（regression)，因此輸出的結果也就能夠處理長句子。

而RNN處理長句子的缺點是每次結果處理後，下一次的處理又是全新的運算，因此長短期記憶單元（LSTM)則是導入記憶的概念，當下輸出結果後使用的model，下次運算還會再次使用並改變內容，概念上RNN像是人類處理短期記憶，LSTM則是考慮進人類的長期記憶（經驗）。

LSTM的結構大致上分為保留閘、寫入閘、輸出閘

深度強化學習，透過代理者去嘗試不同策略，由訓練者決定什麼樣的狀態是好的或壞的。策略上（如何獎勵），如果使用未來報酬可能導致是訓練成果缺乏壓迫感或時間敏感、折扣未來報酬法則是將未來的權重放低，增加程式的急迫性。

利用已知和探索未知的兩難，當過於重視已知可能會踏入局部最佳解，太過於探索未知則可能訓練效率低落，此時可以使用貪婪策略：代理者每個步驟要做出的選擇，可能會拿推薦或是隨機，再將貪婪策略的權重隨時間遞減（訓練後期不再探索未知而是專注現有最佳解探詢）#程式