深層学習、人工的な直感とAGIの探求

ディープ・ラーニング・システムは、生物学的材料に基づいていないにもかかわらず、生物学的に見える挙動を人類が深遠な学習の形で人工的な直感に幸運にも遭遇したこともそうです。

人工知能の分野ではルネサンスが起こっています。 現場の多くの長期専門家にとって、あまりにも明白ではありません。 私は多くの人がディープ・ラーニングの発展に反対しているプッシュバックについて以前に書きました。 ディープラーニングは、しかし、古典的な方法から非常に根本的な出発点です。 Artificial General Intelligence（AGI）への古典的アプローチがすべて壊れていたことを認識したある研究者は、Monica Andersonです。

アンダーソンは、還元主義の科学的アプローチに致命的な欠陥があり、AGIを求めて研究を迷わせていることを早期に認識した数少ない研究者の1人です。 ディープ・ラーニングと古典的なA.Iの違いを強調する非常に良いアナロジー。 アプローチは、直観と論理の違いです。 デュアルプロセス理論は、2種類の認知が存在することを理論化しています。

古典的なA.I.技術は認知の論理的根拠に主に焦点を当ててきましたが、ディープラーニングは認知的直観の領域で対照的な動作をしています。ディープ・ラーニング・システムは、生物学的材料に基づいていないにもかかわらず、生物学的に見える挙動を人類が深遠な学習の形で人工的な直感に幸運にも遭遇したこともそうです。

アンダーソン氏は、「直感的な能力を備えたシステムを構築するためには、「還元主義的方法」に基づく構造に依存することができない」と主張している。アンダーソンは、人工直感の代替アプローチとしてディープラーニングを認めている。アンダーソンは、還元主義的方法を次のような特徴を持つものとして特徴づけている。

最適性：私たちは可能な限り最良の答えを得るよう努めています。

完全性：私たちはすべての答えを得ることに努めています。

再現性：同じ条件で実験を繰り返すたびに同じ結果が得られると期待しています。

適時性：有限の時間で結果を得ることが期待されます。

パーシモン：私たちは、利用可能なデータを完全に説明する最も簡単な理論を発見しようと努めています。

透明性：結果にどのように到達したのかを理解したい。

Scrutability：結果を理解したい。

Andersonは、論理に基づいたアプローチは、代替的な「モデルフリー」アプローチを支持して放棄する必要があると推測しています。つまり、直感に基づく認知は、還元ベースの原則からは生じない。アンダーソンが「モデルフリー」と言うのは「知性のないコンポーネント」です。つまり、彼女は次のように書いています。

インテリジェントなコンポーネントからインテリジェントなシステムを構築しようとしている場合は、問題を1つのレベルに押し下げているだけです。

アンダーソンはいくつかの「モデルフリー」メカニズムを提案しており、それらの組み合わせは直感で目にする緊急の行動につながります。私が推測しているメカニズムは次のとおりです。

発見、認知、学習、抽象化、適応、進化、物語、相談、委任、市場など、さまざまな分野の専門家によって構成されています。

アンダーソンの戦略の詳細は、知的財産上の理由から公開されていないことに注意してください。私は、上記のような複雑な（またはインテリジェントな）緊急の行動につながる可能性のある基礎的なメカニズムに単純（または非知的）な計算メカニズムがあることに同意します。普遍的な計算は、ちょうど3つの基本的なメカニズム（すなわち、計算、シグナリング、およびメモリ）の存在によって生じることを理解する必要があります。

私は、進歩に不可欠な障壁となる現在の数学には限界があることには同意します。しかしこれは、私たちの数学的ツールの総体的な弱点のために進歩を遂げることができないことを意味するものではありません。逆に、ディープラーニングの研究者は、実験的な計算手段によってかなりの進歩を遂げました。エンジニアリングとプラクティスは歩調を合わせた理論を持っており、これは引き続き傾向になります。私は以前、3つの分野、すなわち時間の概念、緊急集団行動、メタレベル推論という分析に問題があると書いてきました。私たちはこのように道のりを歩み、数学的な飛躍を待つか、普遍的な計算の分野では分析技術の能力が限られていると予想して、兵士になることができます。

私の個人的な偏見は、メソッドが成功するためにエージェントのグローバルな知識を必要としてはならないということです。言い換えれば、すべてのエージェントは、地元の知識だけに基づいて行動を決定しなければならず、緊急のグローバルな行動は、その構成員の個々のローカル相互作用によって生じる。提案されている多くの代替モデルでは、通常、エージェントが機能するためにはグローバルな知識が必要であるという根本的な前提があります。私はまた、動作することが知られている方法に偏っています。これまでのところ、ディープラーニングは非常にうまく動作することが示されている唯一の人工直感です。 DLの概念的な問題の1つは、SGDがその構成要素に逆伝播するグローバルな知識を必要とすることです。この要件は、モジュラーディープラーニングシステムで緩和される可能性が高いですが、したがって、私は構成部分の知能の欠如の尺度を意味するものの、「モデル化されたモデル」ではなく「モデル化されたモデル」という用語を好む。しかし一般的には、これは緊急性を生むメカニズムの中で最も簡単なものを探すという点で、「傍時代」の概念に似ています。

ディープ・ラーニングのメタ・メタモデルの解体に基づいた私の現在の分析は、ドメイン適応、転送学習、継続学習、マルチタスク学習などの機能につながるビルディング・ブロック・メカニズムがまだ不足していることです。実際には、教師なし学習（すなわち、予測学習）を確実に把握することはできません。これらのメカニズムは、既存のビルディングブロックから出現する可能性がありますが、誤って発見される可能性もあります。次のようなConwayの人生のゲームの発見に非常に似ています：

上記のセルオートマトンのシンプルさにもかかわらず、なぜそれがどうやって動作するのか理解できません。私たちが預けることができる理論はほとんどありません。 AGIの探求にも同様の状況が存在すると私は信じている。 Conwayの人生のゲームのようなすべてのビルディング・ブロックをすでに持っている可能性は確かです。あるいは、上記の宇宙船と同様に、まだ発見されていないメカニズムが欠落しています。これは、誰にでもAGIの進歩の予測不可能なレベルを説明するはずです。私たちはAGIを達成することから偶然の発見にすぎないかもしれません。

この記事を終える前に私がカバーすべき1つの追加トピックがあります。それは私が以前の記事で議論した意識の概念です：「モジュラーディープラーニングは意識の最後から二番目のステップになるかもしれません。そのポストでは、IITモデルとSchmidhuberの二重RNNモデルの2つの理論を持ちました。デュアルプロセス理論モデルでは、意識は論理的認識から生じる。すべての3つの理論は、興味深いことに、事象間の因果関係を追跡するメカニズムを持っています。意識の概念と原因と結果を追跡するという考えを分けることはできないようです。より抽象的なことに、時間の経過と共に進化する行動を追跡することは不可欠な要素であるように思われる。

参考

http://www.kdnuggets.com/2017/02/deep-learning-artificial-intelligence-quest-agi.html