- 【統計分析】機械学習・データマイニング10 [無断転載禁止]©2ch.net
63 ：デフォルトの名無しさん[sage]：2016/11/23(水) 04:22:44.20 ID:QVzTHJ21 - >>58
よう低脳
俺の言っていることが理解できないか？
勉強しろカス
|
- 【統計分析】機械学習・データマイニング10 [無断転載禁止]©2ch.net
75 ：デフォルトの名無しさん[sage]：2016/11/23(水) 12:51:02.31 ID:QVzTHJ21 - 勉強した本の感想を書き込むのはいいと思う
|
- 【統計分析】機械学習・データマイニング10 [無断転載禁止]©2ch.net
93 ：デフォルトの名無しさん[sage]：2016/11/23(水) 19:18:03.47 ID:QVzTHJ21 - 本日は第6章全部一気に読めた！
・SGD以外にもモーメンタムやアダグラッド、Adamがある。
・重みの初期値は重要なである。
・ハイパーパラメータはだんだん狭めて行く
・Xzavier やDropOutで過学習を防ぐ
などのことを勉強した。
人工知能囲碁ソフトが負けて残念だったが、
自分で最強の囲碁ソフトを作ることにした。
日本のトップ棋士の井山棋聖の本を買って来た。
明日からは第7章 「畳み込みニューラルネットワーク」について
学習する。
|
- 【統計分析】機械学習・データマイニング10 [無断転載禁止]©2ch.net
95 ：デフォルトの名無しさん[sage]：2016/11/23(水) 19:34:15.94 ID:QVzTHJ21 - >>94
それは・・・
えーと
確か・・・
重みの初期値な重要な理由はですね、
学習を正しく進めるためです。
学習が速やかに行われるために必要です。
MNISTにおいては、
Std = 0.01
He
Xavier
の中だと
初期値をHeにすれば
損失関数を一番少なくすることが出来ます。
Stdだと全然学習されません。
つまり重みの初期値は正しく学習するために重要ということです。
|
- 【統計分析】機械学習・データマイニング10 [無断転載禁止]©2ch.net
97 ：デフォルトの名無しさん[sage]：2016/11/23(水) 19:50:18.03 ID:QVzTHJ21 - >>96
すみません、
よくわかりません。
重みの初期値が0はダメだということはわかるんですが・・・。
|
- 【統計分析】機械学習・データマイニング10 [無断転載禁止]©2ch.net
106 ：デフォルトの名無しさん[sage]：2016/11/23(水) 22:10:27.87 ID:QVzTHJ21 - >>99
0にすると、「重みが均一になってしまう」
からじゃないですかね？
純伝播と逆伝播で重みが同じようになっていまいますので。
|
- 【統計分析】機械学習・データマイニング10 [無断転載禁止]©2ch.net
119 ：デフォルトの名無しさん[sage]：2016/11/23(水) 23:44:19.77 ID:QVzTHJ21 - >>113
SGDは確率的勾配降下法のこと。
Momentum(モーメンタム)、AdaGrad(アダグラッド)、Adam
はSGDに代わる手法のこと。
ハイパーパラメーターは学習のときに自分で設定する（チューニングする）値のこと。
あとXavierじゃなくてWeight decayだった。
Xavierは重みの初期値の一種ね。
Weight DecayやDropoutは過学習を抑制するための技術。
過学習はあるデータでうまく対応できるが、
他のデータではうまく対応できないこと。
わかりやすくいうと、
たとえば
りんごを人工知能で画像認識したいとする。
その場合「赤りんご」ばっかり学習していて、
「青りんご」が出されたときに認識出来ないというようなパターン。
この場合赤りんごばっかり学習し過ぎたから、
過学習が起こっている。
>>107
泥臭く頑張ります
|
- 【統計分析】機械学習・データマイニング10 [無断転載禁止]©2ch.net
120 ：デフォルトの名無しさん[sage]：2016/11/23(水) 23:47:21.33 ID:QVzTHJ21 - >>110
オートエンコーダ？
本に載ってたかな？？
|