- 【AI】「ディープラーニングは、原理的には単純な最小二乗法にすぎない」で物議 東大・松尾豊氏「深い関数の方が重要」
78 ：ニュースソース検討中＠自治議論スレ[]：2019/02/21(木) 01:31:09.85 ID:qezL93i2 - 大胆な簡略化を取り入れれば、そのような表現になることもあるだろうが、
大胆過ぎる簡略化が御幣を招くこともある。
まあ、その手の簡略化で言うのなら、日本経済新聞は「右翼のビラ」、
慶應義塾大学経済学部の教授は、「カルト教祖」とかいったところだろうか？
|
- 【AI】「ディープラーニングは、原理的には単純な最小二乗法にすぎない」で物議 東大・松尾豊氏「深い関数の方が重要」
84 ：ニュースソース検討中＠自治議論スレ[]：2019/02/21(木) 01:50:35.91 ID:qezL93i2 - 「深い関数」について簡略的に独断と偏見で解説すると、
「ＡＩ」というものは、一種の万能関数だ。
つまり、無数にある係数を調整することで、どんな関数でも近似できる。
で、問題は、その係数を効率よく決定することになる。
最初の万能関数は、テーラ級数展開とかフーリエ級数のようなものだろうか？
で、これらの係数を決定するのに使う手法が最小二乗法だ。
次に、発明された万能関数としてチューリングマシンがある。
これは、アナログではなくデジタルの万能関数だ。
しかし、チューリングマシンのプログラミングはあまりにも人間には難しかった。
で、これに思い切って性能は劣化するが「命令とデータの分離」という制限を付けることで
人間の知能でもプログラミングしやすくしたのが、ノイマンマシン。
それでも、プログラミングが面倒だった。
そこで、人間の脳に関する知見を元に作られたアナログ万能関数が、パーセプトロン。
でも、今度は近似性能が低過ぎる。
パーセプトロンの問題点を探ってみると、「万能」化させる負荷が、特定のごく少数の浅い部分の係数ばかりに
集中していることが性能劣化の主な原因のようだ。
で、その他の「深い部分」にある係数も、「万能」化、学習に動員させるように改良したものが、
ディープラーニング。
|
- 【AI】「ディープラーニングは、原理的には単純な最小二乗法にすぎない」で物議 東大・松尾豊氏「深い関数の方が重要」
87 ：ニュースソース検討中＠自治議論スレ[]：2019/02/21(木) 02:01:37.66 ID:qezL93i2 - ニューラルネットワークを数学的に概観すると、
係数全体が示す（多次元）平面上に、目標の近似達成度という一次元の関数が定義できる。
「学習」とは、その近似達成度が最大化するように、係数ベクトルを移動させてゆく問題だ。
ちょうど、（係数ベクトルという）パチンコ玉が、（近似達成度の）窪みに落ち込むように揺すったり叩いたりする数学的手続きをするのが、
ボルツマンマシンだ。
既存のパーセプとロンでは、揺すり方が、単調で小刻み過ぎて、ちっともパチンコ玉が小さな丘も超えられない。
で、ディープラーニングなどでは、思い切って、もっと、大きく揺すったりする。
|
- 【AI】「ディープラーニングは、原理的には単純な最小二乗法にすぎない」で物議 東大・松尾豊氏「深い関数の方が重要」
89 ：ニュースソース検討中＠自治議論スレ[]：2019/02/21(木) 02:11:53.03 ID:qezL93i2 - 係数の数は少ないほうが簡潔でよい（オッカムの剃刀）。
しかし、係数が増えれば、その分、近似精度は上がる。
近似性能の上昇と係数の簡略さの相克を考えた係数の最適数を決定する公式として、
ベイズ統計では、「赤池の公式（Ａkaike's Ｉnformation Ｃ.）」というのがあったはずだが、
最近の教科書では、取り上げられていないことが多くなった。
|