GoodAIでのロードマップの比較

最近の人工知能の進歩、特に深い学習の分野では、息を呑むようになっています。この分野に興味のある人にとっては非常に励みになりますが、人間レベルの人工知能に向けた真の進歩は評価するのがはるかに難しいです。   人工知能の評価は、多くの理由から非常に困難な問題である。例えば、インテリジェント・マシンに必要な基本的な必要条件に関するコンセンサスの欠如は、異なるエージェントを比較するための統一されたアプローチの開発に対する主要な障壁の1つです。このトピック（例：JoséHernández-OralloまたはKristinn R.Thórissonなど）に重点を置いた数多くの研究者がいるにもかかわらず、この地域にはAIコミュニティの関心が高まっています。 AIを評価する方法は、すでに作成されたエージェントの進捗状況を評価するのに役立つ重要なツールです。しかしながら、ロードマップとそのようなエージェントを構築するためのアプローチの比較と評価は、あまり検討されていません。そのような比較は、漠然としており、将来の計画の中での限定された正式な定義のために潜在的にさらに困難です。   それにもかかわらず、有望な研究分野を目指し、潜在的な行き止まりを特定するためには、既存のロードマップを有意義に比較できるようにする必要があると考えています。このような比較には、それぞれのロードマップの概要を示す既存の文書から重要かつ同等の情報を取得する方法に関するプロセスを定義するフレームワークを作成する必要があります。そのような統一された枠組みがなければ、各ロードマップはその目標（例えば一般的な人工知能、人的AI、会話型人工知能など）だけでなく、比較や対比が不可能なその目標を達成するためのアプローチも異なる可能性がある。   この記事では、GoodAIの内部でこの問題を（3つのアーキテクチャチームの進捗状況を比較して）どのように見始めているのか、そしてこれが広範なコミュニティ全体の比較にどのように拡大するのかを垣間見ることができます。これはまだ進行中ですが、最初の考えをコミュニティと共有して、私たちが信じていることについての議論を開始することが重要なテーマです。

概要

この記事の最初の部分では、3つのGoodAIアーキテクチャ開発ロードマップの比較を示し、それらを比較する手法について説明します。 主な目的は、すべてのアーキテクチャが最も有望なものに私たちの努力を向けることができる計画の潜在的かつ完全性を評価することです。 他のチームからロードマップを追加することを管理するために、メタロードマップと呼ばれる人的AI開発の一般的な計画を立てました。 このメタロードマップは、「究極の」目標に到達するために渡されなければならない10のステップで構成されています。 潜在的に異なる計画のほとんどが、メタロードマップで特定された1つ以上の問題を解決することを願っています。 次に、我々のアプローチをMikolovらのアプローチと比較しようと試みた。 現行の文書とオープン・タスクをメタ・ロードマップの問題に割り当てることにより、 我々はそれが有用であることを見出しました。それは、比較可能なものを示し、あらゆる問題に対して異なる比較技術が必要であることを示しました。

アーキテクチャ開発計画の比較

GoodAIの3つのチームは、数ヶ月間、そのアーキテクチャーに取り組んでいます。現在では、可能性の最も高いチームにもっと多くのリソースを割り当てることで、より効率的に自分の努力を導くことができるように、アーキテクチャの可能性を評価する方法が必要です。現在の状態に基づいてどの方法が最も有望であるかを判断することはまだ不可能であることを知っていますので、未完成のアーキテクチャに取り組むチームに将来の開発、つまりロードマップを作成する計画を立ててください。 提供された回答に基づいて、これらの計画の要件を繰り返し統一しました。多数の議論の末、私たちは次の構造を思いついた。 計画のユニッ​​トはマイルストーンと呼ばれ、アーキテクチャの一部（例えば、新しいモジュール、異なる構造、機能を追加することによるモジュールの改良、パラメータの調整など）に関する作業の一部を記述する。 各マイルストーンには、時間見積もり、つまり現在のチームサイズを前提としたマイルストーンに費やされる予想時間、仕事の特徴や新機能、新機能のテストが含まれています。 2つ以上のアーキテクチャの共通テストとして機能するチェックポイントによってプランを中断することができます。 これで進行状況を監視する基本的なツールが用意されました。 特定のチームが自己設計テストを達成するかどうかを確認し、それによってスケジュールどおりの元の期待を満たすことができます。 チェックポイントのために、開発途中のアーキテクチャを比較することは可能です。 チームがどれだけ遠くにいるかを見ることができます。理想的には、最後のマイルストーンを終えた後、アーキテクチャはカリキュラム（その間に開発される予定）とその後の最終テストを通過する準備ができている必要があります。 合計時間見積もり。私たちもそれらを比較することができます。 私たちはまだアーキテクチャ（アーキテクチャに必要なもの）から必要となる機能の統合されたセット（GoodAIアーキテクチャの中で）に取り組んでいます。 特定の計画は横に並んでおり（図1参照）、いくつかのチェックポイントは（現在は曖昧に）定義されています。わかっているように、チームは1年以上前から大まかに計画を立てていますが、カリキュラムの準備が整っていないという計画ではまだ完成していません。 2つのアーキテクチャーはコネクショビスト方式を採用しており、比較が容易です。 3番目のシンボル（OMANN）はシンボルを操作するため、最初から他の2つのアーキテクチャでは困難なタスクを実行でき、その逆もあります。これは、OMANNのチェックポイントがまだ定義されていないことを意味します。私たちは共通のテストが計画の重大な問題として欠如しているのを見て、開発にある程度の遅れが生じるかもしれないが、アーキテクチャを他のものと比較できるように変更を探しています。 比較に別のアーキテクチャーを含める努力がありましたが、Weston’s et al。を除いて、このような詳細で将来の仕事を記述する文書は見つかりませんでした。紙。さらに分析した結果、この論文はアーキテクチャの開発とは若干異なる問題に焦点を当てていたと判断しました。これについては、後ほど記事で説明します。

共通のアプローチの前提

我々は、知的エージェントを開発するために必要な避けられないステップの観点から、この問題を見てみたい。まず、プロセス全体についていくつかの前提を立てなければなりません。これらはやや曖昧であることを認識しています。他の人工知能研究者に受け入れられるようにしたいと考えています。 ターゲットとするのは、アーキテクチャ（アーキテクチャと呼ばれる）を作成することです。これは、世界の一部のエージェントの一部になることがあります。 世界では、代理人が解決すべき課題や、代理人が求めるべき世界の状態に基づく報酬があります。 インテリジェントエージェントは、未知/変化する環境に適応し、以前は見えなかったタスクを解決することができます。 どのように定義されていても最終的な目標に到達したかどうかを確認するには、エージェントがどのようにインテリジェントであるか（人間との比較が望ましい）を示す明確な最終テストが必要です。 エージェントが最終テストに合格する前に、エージェントに必要なスキルや能力を教えるための学習段階が必要です。エージェントが何も学習せずに最終テストに合格する可能性がある場合、最後のテストはポイント3に関しては不十分です。学習フェーズの説明（これは世界の説明も含む）はカリキュラムと呼ばれます。

メタロードマップ 上記の仮定（およびここでは列挙しません）を使用して、必要なステップのリストとその順序を説明する図2を導き出します。この図をメタロードマップと呼びます。

図2.メタ・ロードマップの概要（フルサイズ）

図で最も重要で緊急な作業は次のとおりです。 究極のターゲットの定義は、 最終テスト仕様書、 カリキュラムの提案された設計、および アーキテクチャ開発のロードマップ。 現在のアプローチの大部分は、これらの未解決の問題の1つ以上を解決すると考えています。著者の究極の目標と信念に応じて異なる視点から努力をより明確にするために、公開された論文に記載されているアプローチを、それらのグループ内で解決して比較する問題に従ってグループに分けます。もちろん、アプローチはグループ間で比較するのが難しいです（例えば、最終テストは特定の状況下ではカリキュラムと同等です）。 1つのグループ内であっても、要件（この図で定義する必要がある最初のもの）が大幅に異なる場合があります。 また、このフレームワーク内でアプローチの複雑さと完全性の分析を行うことができます。例えば、チームが1つ以上の未解決の問題を省略すると、チームはその特定の問題を考慮していない可能性があり、「大きな画像」の完全な概念なしに進んでいることを示しています。

問題の割り当て

私たちは、問題へのアプローチを割り当てて比較する試みを示したいと思います。まず、GoodAIとMikolov / Westonのアプローチを分析しました。後者はよく記述されています。下の図3の結果を見ることができます。

図3.異なるロードマップのための統合されたメタロードマップ（フルサイズ）

図が示唆するように、私たちはいくつかの共通の問題に取り組んでいます。我々は完全な分析をここでは提供しないが、メタロードマップの意味を証明するためにいくつかの観察を行うだろう。 Mikolovの「Machine Intelligenceに向けたロードマップ」によれば、ターゲットは人間の言語を理解できるエージェントです。 GoodAIのアプローチとは対照的に、テキスト以外のモダリティは重要ではないと考えられています。このカリキュラムでは、GoodAIはより人間中心的な方法でエージェントを教えたがっています。視覚的入力は最初に言語で、Westonのカリキュラム全体は言語指向のタスクで構成されています。 Mikolov et al。彼らのカリキュラムのロードマップを私たちのものと比較することができるように、彼らのアーキテクチャの開発計画を提供していませんが、図1のダイアグラムに必要なものを含めることはできません。

結論

私たちはメタロードマップとGoodAI開発ロードマップの3つの比較を提示しました。 この記事でGoodAIでこのプロセスをどのように開始したのかを垣間見ることができ、内部比較を超えてどのように改善および拡張できるのかについての議論が活発になることを願っています。 私たちは、ロードマップの完全性と人的AIを達成する可能性を見積もるための方法と同様に、私たちのメタロードマップの一般性についてさらに議論すべきです。

参考

https://medium.com/ai-roadmap-institute/roadmap-comparison-at-goodai-cfba094c645b#.706mqpaxy