Features engineering and Neural Networks
前者(Features engineering)對一組欲分析的資料, 擷取其中的特徵值出來, 將這些特徵值進行分類, 分類的方法簡單的使用線性回歸(linear regression)進行分類, 這個回歸函數是βi!=0(weight)加β0(bias))的函數曲線
後者(Neural Networks)方法就捨去了特徵擷取工程的工作, 直接讓神經網路去抓取特徵值並做同時做好分類的工作
Neural Networks的解決方法看是讓工作減少了, 因為不用先做特徵值的擷取工作, 而是直接套用神經網路系統, 讓系統進入自動擷取特徵與分類的工作, 但神經網路的模型選擇變成一位工程人員要面對的新問題
Linear Regression
在特徵的散佈圖上, 找出一條曲線, 這條多元回歸曲線函數是
回歸曲線經過Training data找出β 值, 所謂Training就是讓輸出的Y值跟實際的Y值有最小的Loss( yi — ŷi )^2, 也就是做Gradient Decsent, 找出回歸曲線的β
Linear regression 的輸出ŷ 可能是任意值
Logistical Regression
Linear regression 的輸出ŷ 再經過 sigmoid 的處理, 目的是為了讓最後的輸出落在0~1之間, 這符合機率的特徵, sigmoid是一指數函數, 指數特性讓ŷ大者跟小者距離拉更遠
sigmoid:
softmax: 在多元分類的logistical Regression會以Softmax替代
for j = 1, …, K.
將多個Logistic regression 的模型組合起來就形成了一個神經網路(Neural Network), 一個Logisticl Regression視為一個簡單的神經元(Binary LR)
---------------------------------------------------------------------------------------------------------------------------------------
特徵散佈圖的特徵分類如果不是一個一階函數就可以做出來的簡單的分類, 這時候就需要將這些特徵資料經過適當的轉換, 例如Polynomial轉換或是Radial Basis Function轉到不同的空間分佈, 使其容易用Linear Regression的方式做好分類, 而Scikit Learn內的SVM機器學習分類法就是具備特徵在多維空間分布下做出最小LOSS的分類器
留言列表
