八菲特 - Jakesheu的部落格 Jake

循環神經網路用在有記憶需要的學習系統, 例如語言的語意辨識, 股票分析系統

最常用的RNN變形是Long Short-term Memory (LSTM), 一個LSTM單元會有四個input, 有三個input控制三個閘門(Gate is sigmoid function), 分別控制遺忘閘門, 輸入閘門, 輸出閘門

DNN, Deep-Learning Neural Network

將一Logistical Regression視為一個神經元, 多維輸入與輸出的架構加上中間層多個logistical regression所疊加出來的網路架構就是一個Deep-learning Neural Network

Features engineering and Neural Networks
前者(Features engineering)對一組欲分析的資料, 擷取其中的特徵值出來, 將這些特徵值進行分類, 分類的方法簡單的使用線性回歸(linear regression)進行分類, 這個回歸函數是βi!=0(weight)加β0(bias))的函數曲線

後者(Neural Networks)方法就捨去了特徵擷取工程的工作, 直接讓神經網路去抓取特徵值並做同時做好分類的工作

Neural Networks的解決方法看是讓工作減少了, 因為不用先做特徵值的擷取工作, 而是直接套用神經網路系統, 讓系統進入自動擷取特徵與分類的工作, 但神經網路的模型選擇變成一位工程人員要面對的新問題

Linear Regression
在特徵的散佈圖上, 找出一條曲線, 這條多元回歸曲線函數是

應用Kaggle 所提供的病患CT影像資料進行腫瘤識別分析

資料庫 來源 : https://www.kaggle.com/kmader/nih-deeplesion-subset

以RNN進行兩萬篇影評文章訓練, 每篇文章已經被標記是正面評價或是負面評價, 經過RNN模型訓練出來後, 會發現此模型擷取文章特徵值, 做常用的方法是將最常出現的字組進行分類, 也就是會先經過預處理的方法, 將一篇文章進行字彙統計, 也就是建立所謂的token字典(keras的Tokenizer), token字典的建立目的是為了在餵入RNN模型後, 可以讓模型容易找出其特徵值(features), 已一段文章將其字彙進行分類([the, 5],[like, 2],[to, 3],.....) 然後轉成數字列表, [21,104,,53,...], 再轉成向量列表, 就可以餵給RNN

正面評價的文章常會出現的字組和負面評價常會出現的字組將成為RNN模型的特徵值, 模型經過兩萬篇的訓練後, 模型內的weighting值將收斂到一穩定值

以Cifer-10為資料來源(dataset)進行CNN 演算法分析
我們使用Google提供的Colab (colaboratory)工具來進行開發說明

CNN, Convolutional Neural Network
在圖像辨識應用上, 要變識一張圖片內的物體, 物體在圖片上的佔比大小, 是否會

在圖像辨識應用上, 要變識一張圖片內的物體, 物體在圖片上的佔比大小, 是否會影響到神經網路的辨識率, 答案是不會的, 否則我們很難去收斂學習出來的神經網路模型. 所用的方法就是CNN模型演算法, 我們可以用各種可能的Filters來對圖片上的一塊區域進行SCAN和”過濾”, 也就是用Convolutional的方法(Filters*Partial Area of the Image)來找出圖片內的特徵點, 例如過濾出邊界線條, 然後將這些線條組合丟入神經網路, 讓網路學習分類出這些特徵點所代表的意思. 每一層神經網路的輸出會經過MaxPooling, 目的是要減少數據量, 但仍保留適當的特徵信息