- 技術的特異点/シンギュラリティ190【技術・AI】
638 ：オーバーテクナナシー[sage]：2020/08/04(火) 13:32:40.05 ID:ZxmEheHY - >>577
前スレ473にグーグルがパラメータ数6000億のニューラルネットとのツイートがあった。
GPT3のパラメータ数は1750億。
6000億のニューラルネットのパフォーマンスが気になる。
それまでに比べて一気にパラメータ数を大規模化したGPT3がそれに比例してパフォーマンスも向上をしてる事を見ると規模は大事と見える。
因みに安易には比較できないがパラメータ数を脳のシナプス数とすると人間の脳は100兆以上。
まだ全然差はあるがそこまで大規模化した時どんなパフォーマンスになるか大いに気になる。
>>619によるとヒントン先生 は100兆と言わず4兆余りで展望が開きそうなことを予想している。
イーロン・マスクも5年後と言っているからこれに近い展望を持っているかもしれない。
ディープラーニングは脳の模倣とは言え単純化して異なる面も多いので、このまま増やしていって脳の様に意識の発生とかは分からない。
だけどGPT3の成果を見ると4兆でダメなら100兆、それでもダメなら1000兆と力業で行っても人間より賢い何かはできそう。
ただ力業するにはそれだけのAI計算のコンピューターパワーが必要になるからスパコンの能力向上がますます重要になってくる。
勿論それまでにもっと革新的なアルゴリズムやチップが発見開発されれば力業に頼らずそっちに移行するだろうけど。
あとGPTシリーズでは言語だけでなく画像を食わせる研究もしているね。
https://gigazine.net/news/20200618-image-gpt/
これが発展すればGPT4以降では言葉の視覚的な（もしかしたら音声も？）意味理解を伴った文章生成ができるようになるかもしれない。
|
|