学習を学習するディープラーニングについて
ご察しの通り普通にこういうのはやってる人がいるわけですね。 この分野は非常に興味深いです。
強化学習を用いたニューラルネットワークアーキテクチャの設計(Designing Neural Network Architectures using Reinforcement Learning)
https://arxiv.org/abs/1611.02167 現在、畳み込みニューラルネットワーク（CNN）アーキテクチャを設計するには、人間の専門知識と労力の両方が必要です。新しいアーキテクチャは慎重な実験によって手作りされたり、既存のネットワークの一部から修正されています。与えられた学習課題に対して高性能なCNNアーキテクチャを自動的に生成する強化学習に基づくメタモデリング手法を提案する。学習エージェントは、ε-greedy探査戦略と経験再生を用いたQ-learningを使用してCNN層を順次選択するように訓練される。エージェントは、可能なアーキテクチャの大規模ではあるが有限の空間を探索し、学習タスクのパフォーマンスを向上させて設計を繰り返し検出します。画像分類ベンチマークでは、エージェントの設計したネットワーク（標準コンボルーション、プーリング、完全接続レイヤのみで構成）は、同じレイヤタイプで設計された既存のネットワークを凌駕し、より多くを使用する最先端の方法複雑なレイヤータイプ。我々はまた、画像分類タスクに関するネットワーク設計のための既存のメタモデリング手法を凌駕する。
強化学習を用いたニューラルアーキテクチャ検索(Neural Architecture Search with Reinforcement Learning)
https://github.com/arXivTimes/arXivTimes/issues/23 ニューラルネットワークは、画像、音声、自然言語の理解において、多くの困難な学習課題に対してうまく機能する、強力で柔軟なモデルです。彼らの成功にもかかわらず、ニューラルネットワークはまだ設計が難しいです。本稿では、再帰的なネットワークを使用してニューラルネットワークのモデル記述を生成し、このRNNを強化学習で学習させて、検証セット上に生成されたアーキテクチャの期待精度を最大化する。CIFAR-10データセットでは、最初から始めて、私たちの方法は、テストセットの正確さに関して人間が発明したアーキテクチャに匹敵する斬新なネットワークアーキテクチャを設計できます。当社のCIFAR-10モデルは、3.65のテストエラーレートを達成しています。これは、類似のアーキテクチャスキームを使用した従来の最先端モデルよりも0.09％優れ、1.05倍高速です。
強化学習を学ぶ(Learning to reinforcement learn)
https://arxiv.org/abs/1611.05763 近年、深層強化学習（RL）システムは、多数の困難なタスク領域において超人的な性能を達成している。しかし、そのようなアプリケーションの大きな制限は、膨大な量のトレーニングデータに対する要求です。したがって、重要な現在の目的は、新しいタスクに迅速に適応できる深層RL方法を開発することである。本研究では、この課題に対する新しいアプローチを紹介します。これは深層メタ強化学習と呼ばれます。これまでの研究では、再帰的なネットワークは完全に監視された状況でメタ学習をサポートできることが示されています。このアプローチをRL設定に拡張します。出現するのは、1つのRLアルゴリズムを使用して訓練されたシステムであり、その反復動力学は第2の非常に別個のRL手順を実装するシステムである。この第2の学習されたRLアルゴリズムは、元のアルゴリズムとは任意の点で異なっていてもよい。重要なのは、学習されているため、トレーニングドメインの構造を利用するように構成されていることです。これらの点を一連の7つの概念実証実験で解凍します。それぞれの実験で深層メタ-RLの重要な側面が検証されます。我々は、アプローチの拡張とスケールアップの見通しを検討し、神経科学にとっての潜在的に重要な影響を指摘する。
大規模なニューラルネットワーク：疎なゲート混合エキスパート層(Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer)
https://arxiv.org/abs/1701.06538 情報を吸収するニューラルネットワークの能力は、そのパラメータの数によって制限される。理論的には、計算量が比例して増加することなくモデル容量を劇的に増加させる方法として、ネットワークの一部が例として有効である条件付き計算が提案されている。しかし、実際には、アルゴリズム上およびパフォーマンス上の大きな課題があります。この作業では、これらの課題に対処し、最終的に現代GPUクラスタでの計算効率のわずかな損失だけで、モデル容量の1000倍を超える条件付き計算の約束を実現します。我々は、数千のフィードフォワードサブネットワークで構成されたまばらにゲートされたMixed-of-Expertsレイヤー（MoE）を導入します。訓練可能なゲーティングネットワークは、各例で使用するこれらの専門家の疎結合を決定します。私たちは、モデリング能力とトレーニングコーパスで利用できる膨大な知識を吸収するためにモデル能力が重要な言語モデリングと機械翻訳のタスクにMoEを適用します。本発明者らは、積み重ねられたLSTM層間に畳み込まれて1370億個のパラメータを有するMoEが適用されるモデルアーキテクチャを提示する。大規模な言語モデリングや機械翻訳のベンチマークでは、これらのモデルは、最少の計算コストで最先端のものよりも優れた結果を達成します。
畳み込みニューラルファブリック(Convolutional Neural Fabrics)
https://arxiv.org/abs/1606.02492 CNNの成功にもかかわらず、与えられたタスクに最適なアーキテクチャを選択することは未解決の問題です。 単一の最適なアーキテクチャを選択することを目指すのではなく、指数関数的に多数のアーキテクチャを組み込んだ「ファブリック」を提案します。 ファブリックは、異なるレイヤー、スケール、およびチャネルでレスポンスマップを疎密なローカル接続パターンで接続する3Dトレリスで構成されています。 ファブリックの唯一のハイパーパラメータは、チャネルとレイヤの数です。 個々のアーキテクチャはパスとしてリカバリできますが、ファブリックはすべての組み込みアーキテクチャをまとめてアンサンブルし、パスが重なる場所で重みを共有することもできます。 パラメータは、バックプロパゲーションに基づく標準的な方法を使用して学習することができます。コストは、ファブリックのサイズに比例して増加します。 我々は、MNISTとCIFAR10の画像分類、およびPart Labelsデータセットのセマンティックセグメンテーションのための最先端技術と競合するベンチマーク結果を提示します。
プログレッシブニューラルネットワーク(Progressive Neural Networks)
https://arxiv.org/abs/1606.04671 複雑な一連のタスクを解決することを学ぶ - 転送を活用し、致命的な忘却を回避することは、人間のレベルの知性を達成する上での主要な障害です。 プログレッシブネットワークアプローチは、この方向への一歩を踏み出しています。彼らは忘れていなくて、以前学習した機能との横方向の接続を介して、前の知識を活用することができます。 我々は、このアーキテクチャを幅広い強化学習タスク（Atariおよび3D迷路ゲーム）で広範囲に評価し、プレトレーニングおよび精密化に基づいて一般的なベースラインを上回ることを示します。 新規の感度尺度を用いて、学習は、学習された方針の低レベル感覚および高レベル制御層の両方で起こることを実証する。
ソース https://github.com/synpon/prog_nn
深層強化学習による継続的な制御(Continuous control with deep reinforcement learning)
Deep Q-Learningの成功の根底にあるアイデアを、継続的なアクションドメインに適応させます。 我々は、連続的な行動空間上で動作することができる決定論的な政策勾配に基づく、俳優 - 評論家、モデルフリーのアルゴリズムを提示する。 私たちのアルゴリズムは、同じ学習アルゴリズム、ネットワークアーキテクチャ、ハイパーパラメータを使用して、カートポールのスイングアップ、機敏な操作、脚式の歩行、車の運転などの古典的な問題を含む20以上の物理的なタスクを堅牢に解決します。 我々のアルゴリズムは、ドメインとその派生物の力学に完全にアクセスできる計画アルゴリズムによって見出されたものと競合するポリシーを見つけることができる。 さらに、多くのタスクで、アルゴリズムはポリシーをエンドツーエンドで学習できることを実証しています。生のピクセル入力から直接です。
ソース https://github.com/songrotek/DDPG
ニューラルプログラマ - インタプリタ(Neural Programmer-Interpreters)
https://arxiv.org/abs/1511.06279 ニューラル・プログラマー・インタープリタ（NPI）：プログラムの表現と実行を学ぶ反復的かつ構成的なニューラル・ネットワークを提案する。 NPIには3つの学習可能なコンポーネントがあります.1つのNPIが異なるアフォーダンスを持つ複数の知覚的に多様な環境で動作することを可能にする、タスクに依存しないリカレントコア、永続的なキー値プログラムメモリ、およびドメイン固有のエンコーダです。 NPIは、より高いレベルのプログラムを表現するためのより低いレベルのプログラムを構成することを学ぶことによって、シーケンス間のLSTMと比較して、サンプルの複雑さを低減し、汎化能力を高める。プログラムメモリは、既存のプログラムを構築することによって、追加のタスクの効率的な学習を可能にする。 NPIは、計算の中間結果をキャッシュするために環境（例えば、読み書きポインタを有するスクラッチパッド）を利用して、再帰的な隠れユニットに対する長期記憶負荷を軽減することもできる。この作業では、完全に管理された実行トレースを使用してNPIをトレーニングします。各プログラムには、入力に条件付けされた即時サブプログラムへの呼び出しの例シーケンスがあります。多数の比較的弱いラベルを訓練するのではなく、少数の豊富な例からNPIを学びます。モデルの追加、並べ替え、正規化の3つの構成プログラムを学習するために、モデルの機能を実証します。さらに、単一のNPIが、これらのプログラムおよび関連するすべての21のサブプログラムを実行することを学びます。
NPIのソース https://github.com/pombredanne/NPI-tensorflow
ニューラルチューリングマシン(Neural Turing Machines)
https://arxiv.org/abs/1410.5401# 我々は、ニューラルネットワークの能力を、注意プロセスによって相互作用することができる外部メモリリソースに結合することによって拡張する。 組み合わせたシステムはTuring MachineやVon Neumannのアーキテクチャに類似していますが、エンドツーエンドで微分可能で、勾配降下で効率的に訓練することができます。 予備的な結果は、ニューラルチューリングマシンが、入力、出力の例からのコピー、ソート、および連想想起などの単純なアルゴリズムを推論できることを示しています。
微分可能なニューラル計算機(Differentiable neural computers)
https://deepmind.com/blog/differentiable-neural-computers/ 最近のNatureの研究では、微分可能な神経計算機と呼ばれるメモリ拡張型ニューラルネットワークの一形態を紹介し、人工的に生成された物語、家系図、人工物など、複雑で構造化されたデータに関する質問に答えるために、 ロンドン地下鉄の地図さえあります。 また、強化学習を用いたブロックパズルゲームを解くことができることを示す。
https://github.com/yos1up/DNC https://github.com/Mostafa-Samir/DNC-tensorflow
進化するディープニューラルネットワーク(Evolving Deep Neural Networks)
https://arxiv.org/pdf/1703.00548.pdf 深い学習が成功するかどうかは、タスクを実行するアーキテクチャに依存します。 ディープ・ラーニングがより困難なタスクにスケールアップされるにつれ、アーキテクチャーは手作業で設計するようになっています。この論文では、ディープ・ラーニング・アーキテクチャーを進化を通して最適化するための自動化メソッドCoDeepNEATを提案します。 存在する神経進化方法をトポロジー、コンポーネント、および超パラメータに拡張することにより、この方法は、物体認識および言語モデリングにおける標準的なベンチマークでの最良のデザインに匹敵する結果を達成する。 また、マガジンウェブサイト上に自動画像キャプションの実世界アプリケーションを構築することもサポートしています。 利用可能なコンピューティングパワーの増加が予想され、ディープネットワークの進化は、将来的に深い学習アプリケーションを構築する有望なアプローチです。
OptNet：ニューラルネットワークにおける層としての微分可能な最適化(OptNet: Differentiable Optimization as a Layer in Neural Networks)
https://arxiv.org/pdf/1703.00443.pdf 本稿では、最適化問題（ここでは、具体的には2次プログラムの形で）を、より大規模なエンドツーエンドの訓練可能なネットワークの個々の層として統合するネットワークアーキテクチャであるOptNetを紹介します。これらのレイヤーは、伝統的な畳み込み的かつ完全に連結されたレイヤーがキャプチャできない隠れた状態間の複雑な依存性を可能にします。この論文では、このようなアーキテクチャの基礎を開発します。これらのレイヤーとレイヤーパラメーター;我々は、これらの層のための非常に効率的なソルバを開発する。これは、プライマルデュアル内部ポイント法の中で高速GPUベースのバッチ解決を利用し、バックプロパゲーショングラジエントを解決の上に実質的に追加コストなしで提供する。いくつかの問題でこれらのアプローチの適用を強調している。特にスタンドアウトの例では、ゲームのルールに関する先験的な情報なしに、メソッドが入力と出力のゲームだけでスードクをプレイできることを示しています。この作業は、実験した他のニューラルネットワークアーキテクチャでは事実上不可能であり、我々のアプローチの表現能力を強調している。
ソース https://github.com/locuslab/optnet
ニューラルネットを最適化するための学習(Learning to Optimize Neural Nets)
https://arxiv.org/pdf/1703.00441.pdf 最適化学習（Li＆Malik、2016）は、強化学習を用いて最適化アルゴリズムを学習するための枠組みである。本稿では、浅いニューラルネットを学習するための最適化アルゴリズムの学習を検討する。 このような高次元の確率的最適化問題は、既存の強化学習アルゴリズムにとって興味深い課題を提示する。我々はこの設定における最適化アルゴリズムの学習に適した拡張を開発し、学習された最適化アルゴリズムが他の既知の最適化アルゴリズムよりも一貫して優れていることを示す。 ニューラルネットアーキテクチャ。 より具体的には、提案した方法を用いてMNISTのニューラルネットワークを学習する問題に対する最適化アルゴリズムが、CIFAR-10とCIFAR-100のトーラスフェイスデータセットのニューラルネットの訓練の問題であることを示す。
(Learning to learn)
https://arxiv.org/abs/1606.04474 手で設計された機能から機械学習の学習された機能への移行は大成功を収めました。それにもかかわらず、最適化アルゴリズムは依然として手作業で設計されています。本稿では、学習問題として最適化アルゴリズムの設計をどのようにキャストすることができるかを示し、アルゴリズムが関心のある問題の構造を自動的に利用する方法を学習できるようにする。LSTMによって実装された学習済みのアルゴリズムは、一般的な手作業で設計された競合他社の訓練を受けたタスクより優れており、同様の構造を持つ新しいタスクにも一般化することができます。これは、単純な凸問題、神経ネットワークの訓練、神経芸術によるイメージのスタイリングなど、多くのタスクでこれを実証しています。
オンラインコース
- Kaggleの元CEOが創業したDeepLearning初心者向けビデオ教育機関 http://course.fast.ai/lessons/lesson1.html
- データサイエンスマシンラーニングエッセンシャル https://www.edx.org/course/data-science-machine-learning-essentials-microsoft-dat203x-0 - データ科学入門 https://www.coursera.org/course/datasci - 機械学習の紹介 https://www.udacity.com/course/intro-to-machine-learning–ud120 - 機械学習のニューラルネットワーク https://www.coursera.org/course/neuralnets - ディープラーニング https://www.udacity.com/course/deep-learning–ud730 - 強化学習 https://www.udacity.com/course/reinforcement-learning–ud600
Pythonディープ・ラーニング・フレームワークの概要
Theanoからの拡張が２個も紹介されてる。フランスのモントリオール大学で使ってるのがTheano。 mxnetは早い。kerasが使いやすいと書いてある。
Theano、Lasagne、Blocks、TensorFlow、Keras、MXNet、PyTorchなど、主要なPythonディープラーニングフレームワークの簡潔な概要をお読みください。
私は最近、「ニューラルネットワークのための最高のPythonライブラリ」の話題について、私の古いData Science Stack Exchangeの回答を見つけました。そして、Pythonの深層学習エコシステムが過去2.5年の間にどのくらい進化したかがわかりました。 2014年7月に私が推奨したライブラリ、pylearn2はもはや積極的に開発され、維持されていませんが、深層学習ライブラリが数多く出現しています。 それぞれには独自の長所と短所があります。
Theano
説明：
TheanoはPythonライブラリで、多次元配列を効率的に使用する数式を定義、最適化、評価することができます。 GPUで動作し、効率的なシンボリックな区別を行います。
http://deeplearning.net/software/theano/
概要：
Theanoは、私たちのリストにある他の深層学習フレームワークの多くに力を与える数値計算ワークスです。それはFrédéricBastienとモントリオール大学の研究室MILAの優れた研究チームによって構築されました。そのAPIはかなり低いレベルです。効果的なTheanoを書くためには、他のフレームワークの中で隠されているアルゴリズムに精通している必要があります。 Theanoは、充実した学術的な機械学習の専門知識を備えているか、モデルのきめ細かな制御を求めているか、あるいは珍しいモデルや珍しいモデルを実装したい場合には、Go-toライブラリです。一般に、Theanoは柔軟性のために使いやすさをトレードしています。
長所：
フレキシブル 適切に使用された場合の演奏者 短所：
実質的な学習曲線 下位API 複雑な記号グラフをコンパイルするのが遅くなる リソース：
インストールガイド http://deeplearning.net/software/theano/install.html 公式のTheanoチュートリアル http://deeplearning.net/software/theano/tutorial/ Theanoスライドショーと練習問題 https://github.com/goodfeli/theano_exercises Theanoによる線形回帰からCNNへ https://github.com/Newmu/Theano-Tutorials Python＆Theanoによるディープラーニング入門（MNISTビデオチュートリアル） https://indico.io/blog/introduction-to-deep-learning-with-python-and-theano-2/
Lasagne
説明：
Theanoのニューラルネットワークを構築およびトレーニングするための軽量ライブラリ。
http://lasagne.readthedocs.org/
概要：
Theanoは、まず象徴的数学のためのライブラリを目指しているため、Theanoの上に深層学習に適した抽象概念を提供しています。 DeepMindの研究者であるSander Dielemanが主に書いて、管理しています。 Lasagneは、シンボリック変数間の関数関係でネットワークモデルを指定するのではなく、ユーザーが作業するための “Conv2DLayer"や "DropoutLayer"のようなビルディングブロックをレイヤーレベルで考えることができます。 Lasagneは、柔軟性の面でほとんど犠牲を必要とせず、レイヤー定義、レイヤーの初期化、モデル正則化、モデル監視、モデル訓練を支援する豊富な共通コンポーネントを提供します。
長所：
依然として非常にフレキシブル Theanoより抽象度の高い層 ドキュメントとコードには、さまざまなパスタ・パンチが含まれています 短所：
より小さいコミュニティ リソース：
公式GitHubページ https://github.com/Lasagne/Lasagne 公式インストールガイド http://lasagne.readthedocs.io/en/latest/user/installation.html 公式ラザニアチュートリアル http://lasagne.readthedocs.io/en/latest/user/tutorial.html ラザーンコードの例 https://github.com/Lasagne/Lasagne/tree/master/examples
Blocks
説明：
ニューラルネットワークを構築しトレーニングするためのTheanoフレームワーク。
http://blocks.readthedocs.io/ja/latest/
概要：
Lasagneと同様に、BlocksはTheanoの上に抽象レイヤーを追加して、生のTheanoを書くより深く学ぶモデルのよりクリーンでシンプルで標準化された定義を容易にすることを目指しています。これは、モントリオール大学の研究室MILAによって書かれました.Teranoの構築に貢献した人々と、ニューラルネットワークの定義、死者のPyLearn2との最初の高水準インタフェースに貢献した人々の一部です。効果的に使用するには少し難しい学習曲線を犠牲にして、Lasagneよりも少し柔軟です。とりわけ、ブロックはリカレントニューラルネットワークアーキテクチャの優れたサポートを持っているので、そのジャンルのジャンルを調べることに興味があるかどうかは一見の価値があります。 TensorFlowと並んで、Blocksは、私たちがインディゴでプロダクションに導入した多くのAPIのライブラリです。
長所：
依然として非常にフレキシブル Theanoより抽象度の高い層 非常によくテストされた 短所：
実質的な学習曲線 より小さいコミュニティ リソース：
公式インストールガイド
http://blocks.readthedocs.io/en/latest/setup.html ブロックライブラリの設計に関するArxiv論文 https://arxiv.org/pdf/1506.00619.pdf BlocksとLasagneの違いについてのredditの議論 https://www.reddit.com/r/MachineLearning/comments/4kpztm/lasagne_vs_blocks_for_deep_learning/ ブロックのデータパイプライン用姉妹ライブラリ、Fuel https://github.com/mila-udem/fuel
TensorFlow
説明：
データフローグラフを使用した数値計算用のオープンソースソフトウェアライブラリ。
https://www.tensorflow.org/api_docs/python/
概要：
TensorFlowは、Theanoのような低レベルのシンボリック計算ライブラリと、BlocksやLasagneのようなより高水準のネットワーク仕様ライブラリとの融合です。 Pythonディープラーニングライブラリコレクションの最新メンバーですが、Google Brainチームの支援を受けて最大のアクティブコミュニティを獲得した可能性があります。複数のGPUで機械学習モデルを実行し、効率的なデータパイプラインを提供するユーティリティを提供し、モデルの検査、ビジュアライゼーション、シリアライズのためのモジュールを内蔵しています。最近では、TensorFlowチームは、次の深層学習ライブラリであるKerasのサポートを我々のリストに組み込むことに決めました。コミュニティは、TensorFlowには欠点がありますが、コミュニティの大きさとプロジェクトの背後にある大量の勢いは、TensorFlowを学ぶことが安全な賭けだということに同意しているようです。結果的に、TensorFlowは今日のインディペンデーションで深く学ぶ選択のライブラリです。
長所：
ソフトウェア大手のGoogleが支援 非常に大きなコミュニティ 低レベルと高レベルのネットワークトレーニングへのインターフェイス Theanoベースのオプションよりも速いモデルのコンパイル クリーンなマルチGPUサポート 短所：
Tanoorflowは追いついていますが、最初はTheanoベースのオプションより多くのベンチマークでは遅くなりました。 RNNサポートはまだTheanoによってoutclassedです リソース：
Official TensorFlowのウェブサイト TensorFlow ダウンロードと設定ガイド https://github.com/tensorflow/tensorflow/blob/master/tensorflow/g3doc/get_started/os_setup.md インドネシアのTensorFlow https://indico.io/blog/the-good-bad-ugly-of-tensorflow/ TensorFlowチュートリアルのコレクション https://github.com/nlintz/TensorFlow-Tutorials TensorFlowを使って教えたUdacityマシン学習コース https://www.udacity.com/course/deep-learning–ud730 TensorFlow MNISTチュートリアル https://www.tensorflow.org/tutorials/mnist/beginners/ TensorFlowデータ入力 https://indico.io/blog/tensorflow-data-inputs-part1-placeholders-protobufs-queues/
Keras
説明：
Pythonの深層学習ライブラリ。コンバネット、リカレントニューラルネットワークなどTheanoまたはTensorFlowで実行されます。
概要：
Kerasはたぶん最高レベルで、大部分のユーザーフレンドリーなライブラリです。 Google Brainチームのもう一人のメンバーであるFrancis Cholletによって書かれ維持されています。ユーザーは、構築したモデルをTheanoまたはTensorFlowの記号グラフで実行するかどうかを選択できます。 KerasのユーザーインターフェイスはTorchからインスピレーションを得ています。そのため、Luaでの機械学習の経験があれば、Kerasは一見価値があります。 Kerasコミュニティは、優れたドキュメントと使いやすさのおかげで非常に大きく活発でした。最近、TensorFlowチームは、Kerasサポートを組み込んだ出荷計画を発表しました。すぐにKerasはTensorFlowプロジェクトのサブセットになります。
長所：
TheanoまたはTensorFlowバックエンドの選択 直観的で高水準のインタフェース 簡単な学習曲線 短所：
柔軟性が低く、他のオプションよりも規範的 リソース：
公式インストールガイド https://keras.io/#installation KerasユーザーのGoogleグループ https://groups.google.com/forum/#!forum/keras-users Kerasの例のリポジトリ https://github.com/fchollet/keras/tree/master/examples DockerでKerasを使用する方法 https://github.com/fchollet/keras/tree/master/docker アプリケーションエリア別Kerasチュートリアルのリポジトリ https://github.com/fchollet/keras-resources
MXNet
説明：
MXNetは、効率と柔軟性の両方を考慮して設計された深層学習フレームワークです。
http://mxnet.io/api/python/index.html#python-api-reference
概要：
MXNetは、深層学習のためのAmazonの選択肢のライブラリであり、おそらく一番の実績のあるライブラリです。これは、TheanoとTensorFlowに似たデータフローグラフを持ち、マルチGPU構成を良好にサポートし、LasagneやBlocksに似たより高いレベルのモデルビルディングブロックを持ち、想像できるどんなハードウェアでも実行できます（携帯電話）。 MXNetはR、Julia、C ++、Scala、Matlab、Javascriptへのインターフェイスも提供しています。それに次ぐ性能を求めているなら、MXNetを選んでください。MXNetのいくつかの特色に取り組む必要があります。
長所：
急速なベンチマーク 非常にフレキシブル 短所：
最小のコミュニティ Theanoよりも激しい学習曲線 リソース：
公式スタートガイド http://mxnet.io/get_started/ インディゴのMXNet入門 https://indico.io/blog/getting-started-with-mxnet/ MXNetサンプルのリポジトリ https://github.com/dmlc/mxnet/tree/master/example AmazonのCTOがMXNetを買収 http://www.allthingsdistributed.com/2016/11/mxnet-default-framework-deep-learning-aws.html MXNet Arxiv用紙 https://arxiv.org/abs/1512.01274
PyTorch
説明：
強力なGPUアクセラレーションを備えたPythonのテンソルとダイナミックニューラルネットワーク
概要：
PyTorchは1週間前にリリースされたばかりで、Pythonの深層学習フレームワークのリストの中の新しい子供です。 LuaのTorchライブラリがPythonに移植されていないため、Facebook Artificial Intelligence Researchチーム（FAIR）の支援を受けており、動的計算グラフ（Theano、TensorFlow、デリバティブ。陪審員はPyTorchがPythonの深層学習エコシステムで果たす役割についてまだ議論していませんが、すべての兆候は、PyTorchが私たちのリストにある他のフレームワークの非常に優れた代替手段であることを示しています。
長所：
Facebookからの組織的支援 動的グラフのきれいなサポート 高レベルと低レベルのAPIのブレンド 短所：
代替案よりはるかに成熟していない（自分たちの言葉で - 「私たちは早期リリースのベータ版です。いくつかの冒険を期待してください」） 限定された参考文献/公式文書の外のリソース リソース：
PyTorch公式ホームページ http://pytorch.org/ PyTorch twitter feed https://twitter.com/PyTorch PyTorchサンプルのリポジトリ https://github.com/pytorch/examples PyTorchチュートリアルのリポジトリ https://github.com/pytorch/tutorials
ライター
Madison May、indico
参考
http://www.kdnuggets.com/2017/02/python-deep-learning-frameworks-overview.html
NASA、ソフトウェアのカタログを公開、地球上のアプリケーションのための公開されていないアクセスを許可
NASAは2017-2018年のソフトウェアカタログを発表しました。ソフトウェアカタログは、著作権や著作権料なしで、幅広い種類の技術アプリケーション用の広範なソフトウェア製品ポートフォリオを無償で公開しています。
ハードコピーとオンラインの両方で入手可能なこの第3版の出版物は、データ処理/ストレージ、ビジネスシステム、運営、推進、航空宇宙に関するすべての代理店のセンターから寄せられたものです。 これには、NASAがスペースを探索し、宇宙についての理解を深めるために使用する多くのツールが含まれています。 はじめてのリリースのために多数のソフトウェアパッケージが提供されています。 各カタログ項目には、それが何をしているのかを明記した言語記述が付いています。
NASAの宇宙技術ミッション・ディレクター（STMD）の管理責任者であるSteve Jurczykは次のように述べています。「ソフトウェアカタログは、起業家、中小企業、学界、産業界に今日のトップ航空宇宙専門家が使用するツールへのアクセスを許可することにより、ワシントン。 「これらのソフトウェアコードへのアクセスは、アメリカの雇用を創出し、収益を上げ、命を救う具体的な利益を生み出す可能性を秘めています。
NASAは、2014年4月にソフトウェアカタログの初版を公開し、連邦政府機関（カスタムコードの最大の作成者）によって編集される公に利用可能なソフトウェアの最初の包括的なリストになった。それ以来、NASAは数千のソフトウェアプログラムを学生、業界、個人、その他の政府機関と共有してきました。
「ソフトウェアは、NASAのミッション成功と科学的発見のそれぞれの重要な要素でした。 NASAの技術移転プログラムの幹部であるダン・ロッキニー（Dan Lockney）は、実際には、すべてのNASAの革新の30％以上がソフトウェアであると述べています。 「これらのツールを他のセクターに移して、新しく創造的な方法でそれらを実現する見通しに興奮しています。
入手可能なソフトウェアには、より高度なドローン用のコードと静かな航空機用のコードがあります。いくつかのコードにはアクセス制限が適用されますが、NASAは過去2年間にソフトウェアのリリースプロセスを自動化して更新し、できるだけ迅速かつ簡単に、簡単に実行できるようにしました。
ソフトウェアカタログはNASAの技術移転プログラムの製品であり、STMDの代理店で管理されています。このプログラムは、探査と発見のミッションのために開発された技術が国民に広範に利用可能であることを保証し、国家への利益を最大化する。
ソフトウェアカタログの検索可能なPDFについては、以下をご覧ください。
NASAの技術移転プログラムの詳細については、をご覧ください。
参照
2017年論文リサーチ
解釈可能な構造 - 進化するLSTM(Interpretable Structure-Evolving LSTM)
https://arxiv.org/abs/1703.03055 本稿では、Long Short-Term Memory（LSTM）リカレントニューラルネットワークを用いた階層グラフ構造上の解釈可能なデータ表現を学習するための一般的なフレームワークを開発する。LSTMモデルを事前固定構造で学習するのではなく、LSTMネットワーク最適化中にデータから漸進的かつ確率的に中間解釈可能なマルチレベルグラフ構造をさらに学習することを提案する。したがって、このモデルを構造進化型LSTMと呼びます。特に、各ノードが小さなデータ要素である初期の要素レベルのグラフ表現から開始して、構造を発展させるLSTMは、スタックされたLSTM層に沿って高い互換性を有するグラフノードを確率的にマージすることによって多段階グラフ表現を徐々に進化させる。各LSTM層において、我々は、対応するLSTMゲート出力からの2つの接続されたノードの互換性を評価し、これはマージ確率を生成するために使用される。したがって、候補グラフ構造は、ノードが、それらの合併確率を有するクリークにグループ化されるところで生成される。次に、確率確率を用いた確率的サンプリングによって局所的最適に詰まるリスクを軽減するMetropolis-Hastingアルゴリズムを用いて新しいグラフ構造を生成する。グラフ構造が受け入れられると、分割されたクリークをノードとすることにより、より高いレベルのグラフが構築される。進化するプロセスでは、冗長な情報がフィルタリングされ、より長期間のデータ依存性のより効率的な伝播を可能にする上位レベルで表現が抽象化されます。
深層ネットワークの高速適応のためのモデルに不可欠なメタ学習(Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks)
https://arxiv.org/abs/1703.03400 我々は、勾配降下で訓練され、分類、回帰、および強化学習を含む様々な異なる学習問題に適用可能なモデルと互換性があるという意味で、モデルに依存しないメタ学習のアルゴリズムを提案する。メタ学習の目標は、少数の訓練サンプルのみを使用して新しい学習タスクを解決できるように、さまざまな学習タスクでモデルを訓練することです。我々のアプローチでは、モデルのパラメータは明示的に訓練されているため、新しいタスクからの少量の訓練データを伴う少数の勾配ステップがそのタスクに対して良好な一般化性能を生成する。実際には、私たちの方法はモデルを微調整しやすいように訓練します。このアプローチにより、少数の画像分類ベンチマークで最先端のパフォーマンスが得られる。
ニューラルネットワークに対するジェネティックポイズニング攻撃法(Generative Poisoning Attack Method Against Neural Networks)
[1703.01340] Generative Poisoning Attack Method Against Neural Networks 中毒攻撃は、機械学習アルゴリズムに対する重大なセキュリティ上の脅威と認識されています。例えば、多くのアプリケーションでは、深いニューラルネットワーク（DNN）モデルは、入力データが被害を受けうる再トレーニングを実行するための入力としてパブリックデータを収集します。サポートベクターマシン（SVM）に対する中毒攻撃は、これまで広範に研究されてきたが、そのような攻撃がニューラルネットワーク（NN）、特にDNNにどのように実装されるかに関する知識は非常に限られている。本研究では、まず、従来の勾配法（直接勾配法と呼ばれる）を適用して、NNに対して被毒モデルデータを生成する可能性を調べる。次に、被毒データの発生率を高めるための生成方法を提案する。被毒データの生成に用いたオートエンコーダ（ジェネレータ）をロスの報酬関数で更新し、対象NNモデル（弁別子）が被毒データを受信してノーマルデータの損失を計算する。本発明者らの実験結果は、直接的な勾配法と比較して、生成法が被毒データ発生速度を最大239.38倍高速化することができ、モデル精度がわずかに低下することを示している。ターゲットモデルの喪失をチェックすることによって、そのような被害の攻撃方法を検出する対策も設計されています。直接勾配法と比較して38倍であり、モデル精度がわずかに低下している。ターゲットモデルの喪失をチェックすることによって、そのような被害の攻撃方法を検出する対策も設計されています。直接勾配法と比較して38倍であり、モデル精度がわずかに低下している。ターゲットモデルの喪失をチェックすることによって、そのような被害の攻撃方法を検出する対策も設計されています。 ＞DNNに対して毒のデータを学習させることで精度を低下させる。
Inception-v4、Inception-ResNetと学習に残る接続の影響(Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning)
非常に深い畳み込みネットワークは、近年の画像認識性能の最大の進歩の中心であった。 1つの例は、比較的低い計算コストで非常に良好な性能を達成することが示されているインセプションアーキテクチャである。最近では、より伝統的なアーキテクチャと連携した残存接続の導入により、2015年のILSVRCの課題に最先端のパフォーマンスがもたらされました。その性能は最新世代のInception-v3ネットワークに似ていました。これは、インセプションアーキテクチャを残存接続と組み合わせることに何らかの利益があるかどうかの問題を提起する。ここでは、残留接続を伴うトレーニングがインセプションネットワークのトレーニングを大幅に加速するという経験的な証拠を明確にしています。残余のインセプション・ネットワークが同様に高価なインセプション・ネットワークよりも性能が優れているという証拠もいくつか残っている。我々はまた、残余および非残余のインセプションネットワークのためのいくつかの新しい合理化されたアーキテクチャを提示する。これらのバリエーションは、ILSVRC 2012分類タスクの単一フレーム認識性能を大幅に向上させます。さらに、適切なアクティブ化スケーリングが非常に広い残差インセプションネットワークのトレーニングを安定させる方法を示します。 3つの残差と1つのInception-v4のアンサンブルで、ImageNet分類（CLS）チャレンジのテストセットで3.08％のトップ5エラーを達成します。 ＞ネットワークの安定をさせる。3つの残差と1つのInception-v4のアンサンブルを使用。
実行の習得(Learning to Execute)
http://arxiv.org/abs/1410.4615 長い短期記憶単位（LSTM）を有するリカレントニューラルネットワーク（RNN）は表現力があり、訓練が容易であるため広く使用されている。私たちの関心は、伝統的にニューラルネットワークにとって複雑すぎると見なされている短いコンピュータプログラムを評価するためにそれらを訓練することによって、シーケンス間シーケンスのLSTMの表現力と学習可能性を経験的に評価することにあります。定数メモリを使用して単一の左から右へのパスで評価できる単純なクラスのプログラムを検討します。私たちの主な結果は、LSTMがそのようなプログラムの文字レベルの表現を正しい出力にマップすることを学ぶことができるということです。特に、カリキュラムの学習を使用する必要があり、従来のカリキュラムの学習は効果がないと判明しましたが、私たちはすべての実験条件でネットワークのパフォーマンスを改善した新しいカリキュラムの変種を開発しました。改善されたカリキュラムは追加問題に劇的な影響を与え、99％の精度で2つの9桁の数値を追加するようにLSTMを訓練することを可能にしました。 https://github.com/fchollet/keras/blob/master/examples/addition_rnn.py
微分可能な境界木を用いた最近接近傍表現の学習(Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees)
https://arxiv.org/abs/1702.08833 最近（kNN）法は、ハードウェアの進歩とアルゴリズムの効率を考慮して、近年普及している。今日から選択する方法は、それぞれ長所と短所があります。すべてのkNNに基づく方法間で共有される1つの要件は、サンプル間の良好な表現および距離測定の必要性である。 我々は、深いkNN表現を学習することを可能にする微分可能な境界木と呼ばれる新しい方法を紹介する。効率的な最近傍分類、回帰および検索を可能にする最近提案された境界木アルゴリズムを構築する。ツリー内のトラバーサルを確率論的事象としてモデル化することにより、我々はツリーの予測に関連する微分可能なコスト関数を形成することができる。深いニューラルネットワークを使用してデータを変換し、ツリーを逆拡散することで、kNNメソッドの良い表現を学ぶことができます。 我々の方法は、明確に解釈可能な構造を持つ非常に効率的な木を可能にする適切な表現を学ぶことができることを実証する。
DeepNAT：細分化神経解剖のための深畳み込みニューラルネットワーク(DeepNAT: Deep Convolutional Neural Network for Segmenting Neuroanatomy)
https://arxiv.org/abs/1702.08192
我々は、T1加重磁気共鳴画像におけるNeuroAnaTomyの自動セグメンテーションのための3D Deep畳み込みニューラルネットワークDeepNATを紹介する。DeepNATは、脳のセグメンテーションに対するエンドツーエンドの学習ベースのアプローチであり、抽象的なフィーチャー表現とマルチクラス分類を共同して学習します。我々は、パッチの中心ボクセルだけでなく、マルチタスク学習として策定された近隣のボクセルも予測する、3Dパッチベースのアプローチを提案する。クラスの不均衡問題に対処するために、2つのネットワークを階層的に配置します。最初のレイヤーではフォアグラウンドを背景から分離し、2つ目のレイヤーではフォアグラウンドで25の脳構造を識別します。パッチには空間的な文脈がないので、それらを座標で補強する。この目的のために、本発明者らは、脳容積の新規な固有パラメータ化を導入し、Laplace-Beltrami演算子の固有関数によって形成される。ネットワークアーキテクチャとしては、プーリング、バッチ正規化、および非線形性を備えた3つの畳み込みレイヤーと、完全に接続されたドロップアウトレイヤーを使用します。最終的なセグメンテーションは、クローズドボクセル間のラベル合意を確実にする、完全に接続された3次元の条件付きランダムフィールドを有するネットワークの確率的出力から推測される。ネットワーク内の約270万のパラメータは、確率的な勾配降下で学習されます。我々の結果は、DeepNATが最先端の方法に匹敵することを示しています。最後に、純粋に学習ベースの方法は、訓練されたネットワークを目的のアプリケーション上の小さな訓練サンプルで微調整することによって、若年者、老人、または罹患した脳への適応の可能性が高くなります。
GamerGateを測定すること：嫌悪、性欲、そしていじめの話(Measuring #GamerGate: A Tale of Hate, Sexism, and Bullying)
ここ数年の間に、オンラインの攻撃や虐待行為は、さまざまな形態やさまざまなプラットフォームで発生してきました。極端な場合、これらの事件は憎しみ、差別、いじめに発展し、実際の脅威や個人や団体に対する攻撃にもなりました。本稿では、Gamergateの論争を研究する。オンラインゲームの世界で2014年8月に開始され、さまざまなソーシャルネットワーキングプラットフォームに急速に広まり、最終的にはサイバー攻撃やサイバー攻撃の多くの事件につながった。私たちは、340kのユニークユーザーと1.6Mのツイートのデータセットの測定調査を発表し、これらのユーザーのプロパティ、投稿するコンテンツ、およびランダムなTwitterユーザーとの違いを調べます。この「Twitter戦争」に関わるユーザーは、より多くの友人やフォロワーを持つ傾向があり、一般的には従事していて、負の感情を伴うつぶやき、ランダムなユーザーよりも喜び、そして嫌いです。また、Twitterのサスペンドメカニズムがそのような虐待行為をどのように処理するかについて予備的な測定も行います。私たちはGamergateに焦点を絞っていますが、積極的でいじめの活動に関連するつぶやきを収集して分析する方法論は、独立した関心事です。 ＞データサイエンス的内容。 https://arxiv.org/abs/1702.07784
教師なし画像 - 画像変換ネットワーク(Unsupervised Image-to-Image Translation Networks)
1つの領域の画像を別の領域の対応する画像にマッピングする既存の画像 - 画像変換フレームワークの大部分は、教師あり学習に基づく。すなわち、2つの領域の対応する画像の対が翻訳を学習するために必要とされる関数。2つの異なる領域に対応する画像をキャプチャすることは、しばしば困難な作業であるため、これは主にアプリケーションを制限します。この問題に対処するために、私たちは、変分的な自動エンコーダーと生成的な対立ネットワークに基づく、UNIT（Unsupervised Image-to-Image Translation）フレームワークを提案する。提案されたフレームワークは、2つの領域に対応する画像なしに翻訳機能を学習することができる。我々は、重み共有制約と敵対的な訓練目的とを組み合わせることによって、この学習能力を可能にする。さまざまな監督されていない画像翻訳タスクからの視覚化結果を介して、提案されたフレームワークの有効性を検証する。切除研究は、重要な設計選択肢をさらに明らかにする。さらに、UNITフレームワークを教師なしドメイン適応タスクに適用し、ベンチマークデータセットで競合するアルゴリズムより優れた結果を達成します。
https://arxiv.org/abs/1703.00848
非負行列の因子分解の導入(Introduction to Nonnegative Matrix Factorization)
本稿では、非負行列分解（NMF）の概要を簡単に紹介します。NMFのいくつかの側面、すなわち、ハイパースペクトルイメージングにおける応用、NMF解の幾何学的および一意性、複雑さ、アルゴリズム、および多面体の拡張された処方との関連について議論する。NMFを視点に入れるために、制約のある低ランク行列近似問題のより一般的な問題クラスをまず簡単に紹介する。
深いエネルギーに基づく政策による強化学習(Reinforcement Learning with Deep Energy-Based Policies)
https://arxiv.org/abs/1702.08165
私たちは、以前の表ドメインでしか実現できなかった、連続した州や行為に対する表現力豊かなエネルギーベースの政策を学習する方法を提案します。我々は、ボルツマン分布を介して最適な方針を表すソフトQラーニングと呼ばれる新しいアルゴリズムの結果、最大エントロピー方針を学習する方法を適用する。我々は最近提案された償却されたスタイン変動勾配降下を使用して、この分布からのサンプルを近似する確率的サンプリングネットワークを学習する。提案されたアルゴリズムの利点は、水泳と歩行ロボットとの模擬実験で確認されるタスク間のスキルの移転を可能にする改善された探索と構成性を含む。我々はまた、対応するエネルギーベースのモデルについての近似推論を実行することができるアクター評論手法への接続を描く。
PMLB：機械学習のための大規模ベンチマークスイート評価と比較(PMLB: A Large Benchmark Suite for Machine Learning Evaluation and Comparison)
https://arxiv.org/pdf/1703.00512.pdf データマイニングにおける機械学習方法の選択、開発、または比較は、特定の研究の目標の問題および目標に基づいて困難な作業となり得る。実際の実世界とシミュレーションされた多数のベンチマークデータセットが異なるソースから出現していますが、標準としての組織と採用が一貫していません。そのため、特定のベンチマークを選択してキュレーションすることは、本研究では、さまざまな機械学習手法の長所と短所を容易に識別できるように、アクセシブルで、キュレーションされた、開発中の公開ベンチマークリソースを紹介します。このリソースの現在のベンチマークデータセットのメタ特徴を比較して、利用可能なデータの多様性を示します。最後に、多数の確立された機械学習手法をベンチマークスイート全体に適用し、データセットとアルゴリズムがどのようにパフォーマンスを集約するかを分析します。この作業は、一般的なベンチマークスイートの限界を理解し、既存のベンチマーキング標準を将来のより多様で効率的な標準に結びつけるリソースを開発するための重要な第一歩です。キーワード：機械学習、ベンチマーク、データリポジトリ、分類
着色（P6、ダイヤモンド、K4）フリーグラフ(Coloring (P6, diamond, K4)-free graphs)
https://arxiv.org/pdf/1703.00606.pdf 我々は、単純グラフ、有限グラフ、および無向グラフを考える。 ここで定義されていない表記法や用語については[22]を参照してください。
Xception：深度分離可能な深い学習(Xception: Deep Learning with Depthwise Separable)
https://arxiv.org/pdf/1610.02357.pdf 我々は、畳み込みニューラルネットワークにおけるインセプションモジュールの解釈を、規則的な畳み込みと深さ方向の分離可能な畳み込み演算（奥行き方向の畳み込みとその後のポイント畳み込み）との間の中間ステップとして提示する。この光では、深さ方向に分離可能な畳み込みは、最大数のタワーを有するインセプションモジュールとして理解することができる。この観察は、Inceptionモジュールが深さ方向に分離可能な畳み込みに置き換えられている、Inceptionに触発された新規な畳み込みニューラルネットワークアーキテクチャを提案する。我々は、Xceptionと呼ばれるこのアーキテクチャが、ImageNetdataset（Inception V3が設計された）上のInception V3をわずかに上回り、3億5000万の画像と17,000クラスを含むより大きな画像分類データセットでInceptionV3を大幅に上回ることを示す。 XceptionアーキテクチャはInceptionV3と同じ数のパラメータを持つため、パフォーマンスの向上は容量の増加によるものではなく、モデルパラメータの効率的な使用によるものです。
畳み込みと分離可能な畳み込みとの間の連続体
この強力な仮説に基づいて、Inceptionモジュールの「極端な」バージョンでは、最初に1x1畳み込みを使用してクロスチャネル相関をマップし、各出力チャネルの空間相関を別々にマッピングします。これは図4に示されている。我々は、この極端な形態のインセプションモジュールは深さ方向の分離可能なコンボリューションとほぼ同じであると言い、2014年の早い時期にニューラルネットワーク設計で使用されており、 2016年のTensorFlowフレームワーク[1] .TensorFlowやKerasなどのディーププレイングフレームワークで一般に「分離可能な畳み込み」と呼ばれる深度分離可能な畳み込みは、深さ方向の畳み込み、すなわち入力の各チャンネルで独立して実行される空間畳み込みすなわち、1x1畳み込み（convolution）であり、深度畳み込みによって出力されたチャネルを新しいチャネル空間に投影する。これは、空間的に分離可能な畳み込みと混同してはいけません。これは画像処理コミュニティで一般に「分離可能な畳み込み」とも呼ばれます。インセプションモジュールと高度に分離可能な畳み込みとの間の2つの小さな相違点は、
- 操作の順序：通常実行される（例えば、TensorFlowにおける）深さ方向に分離可能な畳み込みは、最初にチャネルワイズ空間畳み込みを行い、次に1x1畳み込みを実行するが、Inceptionは1x1畳み込みを最初に行う。
- 最初の操作後に非線形性があるかどうか。 インセプションでは、両方の操作の後にReLUの非線形性が続きますが、通常、奥行き方向の分離可能な畳み込みは非線形性なしで実装されます。
図1：カノニカルインセプションモジュール（インセプションV3）。
図2：簡略化されたインセプションモジュール
図3：簡略化されたInceptionモジュールの厳密に同等の再構成。
図4：Inceptionモジュールの「極端な」バージョン.1つの空間畳み込みがある
1x1コンボリューションの出力チャネル。
AIは80/20ルールを変更しようとしています。
MITライターの書いた記事。 AIを使って２０パーセントの高い収益を上げてる要素を簡単に抽出できる。 AIがパレードの法則を崩壊させてる場所もある。
多くの高性能組織は、イタリアのエンジニアとエコノミストであるVilfredo Paretoに熱心に取り組んでいます。彼らは80/20の原則、つまり効果（売上、収入など）の80％が原因の20％（製品、従業員など）に由来するという考えに触発され続けています。機械学習とAIアルゴリズムの革新が分析を変えるにつれ、私は次世代アルゴリズムがパレートの経験的に挑発的なパラダイムを超過することに賭けている。 AIと機械学習がパレート原理を使って収益性の高いイノベーションを従来の分析を超えてデジタルで推進する方法を再定義する3つの重要な方法があります。
スマートパトス
第1に、より多くの量とさまざまなデータがアルゴリズムがよりスマートになるために必要なトレーニングを受けることを保証します。その結果、デジタルネットワークは、変数の重要なベクトルを新しい価値に変換するパレートプラットフォームになります。
例えば、新しい職場分析では、製品、プロセス、ユーザーエクスペリエンスに80％の価値を寄与する従業員の20％をより容易に特定できる企業が増えています。ビジネスプロセス、プラットフォーム、および顧客経験の継続的なデジタル化は、同様に創造的なParetoの視点を招いています。プラットフォームのアップグレードの20％がその影響の80％を作り出しますか？顧客体験の20％が喜びや嫌悪感の80％を呼び起こしますか？深刻なCスイートは、データ駆動型の質問にアルゴリズム的に対処したいと考えています。
スーパーパトリス
第二に、従来のディストリビューションは破壊的に変化しました。大きなデータの小さな生産性秘密は、パレートの80/20の洞察が経験的な時代遅れに崩壊しているということです。分析的に積極的な企業は、10/90、5/50、2/30、1/25に近いパレート率をますます認識しています。データがデジタルスライスされ、ダイスされ、定義される程度に応じて、1/50、5/75、そして、はい、10/150パロットが出現します。パレートの「重要な少数」は「重要な少数」になります。
極端なディストリビューションは業界を凌駕し、支配しています。例えば、飲酒者の10％未満が、販売されている硬酒の半分以上を占める。さらに極端なことに、ゲームゲーマーの0.25％未満がすべてのゲーム内収益の半分を占めています。
しかし、「スーパーパロット」を明確に特定し、コシェートすることは、分析的には十分に進んでいない。これらの記述統計が予測統計量と規範統計量につながることを要求している。言い換えれば、これらのデータセットをスマートアルゴリズムの「トレーニングセット」に変換します。
組織は、パレートの傾向を特定する必要もあります。アルゴリズムを使用して、規模の小さいビジネスへの影響を促進する小さな調整でコードをクラッキングする必要があります。マネージャーとそのデータサイエンスチームは、より多くの優れたデータだけではなく、極端なパレートの可能性と可能性について再構成する必要があります。
たとえば、2,000以上のSKUを持つ数百万ユーロの産業機器会社は、そのオファーの4％未満が売上高の3分の1、収益性の約半分を占めていると判断しました。しかし、サービスとメンテナンスを含むように分析を拡張すると、約100の製品が収益性の3分の2以上を占めることが明らかになりました。その結果、同社は価格設定とバンドル戦略を根本的に再考しました。
製品そのものだけではなく、製品の属性や機能を中心としたより細かいパレート分析は、より洞察的な洞察を提供しました。同社のエンジニアリングチームとアカウントチームは、製品そのものではなく、必要な機能や機能セットを中心にデータ駆動型の再設計を検討しました。異なる分析単位を処理することで、さらに貴重なパレートの洞察が得られました。例えば、目標を絞った機能の削除はコストを削減するだけでなく、測定可能なユーザーエクスペリエンスを直接向上させ、増加する顧客セグメントのシェアを増加させました。
スーパーパロット
第3に、データがより細かくなり、アルゴリズムが複雑なパターンをよりスマートな方法で処理するようになると、Paretoのポートフォリオ管理が変更されました。分析的にも運用上でも、すでにパレート・ポートフォリオ、つまり企業全体でさまざまなパレートの洞察を管理しています。 KPIのダッシュボードが主要なパレート情報のデータ駆動型ルックを容易にしない場合、人々は将来の最適化と価値創造の機会を盲目に思っています。
個々のプロセスオーナー、プロダクトマネージャー、セールスチームが、一度独自のコアParetosを最適化することを強調した時点で、他の人のParetosを突き刺し、プローブし、プレイします。深刻な管理者と経営幹部は、分析サイロから壊れて破裂します。彼らは、彼らのパレオが分析的に交差し、重なり合って、企業全体でパレオスと生産的に再結合できることを認識しています。
ますます、パレートを再考し再生する最も確実な方法は、パレートを別のパレートにリンクすることです。データが豊富でアルゴリズムを意識した企業が、数十の重要なパレート指標を個別に管理することから、数千、数千もの企業KPIを監視するようになり、勇敢な新しいパレートアンサンブルが登場します。どのアンサンブルが新しい創造と捉えに最大の洞察と機会を提供しますか？
結果的に、ネットワークパトリオスは、私が見る最も刺激的で生産的な分析イニシアチブの1つになっています。 KPIクラスタの10％は、新規顧客、成長、または利益率の90％を説明しますか？超パレートの創造性への挑戦は、データ主導の多機能なコラボレーションを必要とします。企業全体の洗練された管理者と企業内者は、重要な少数を革新的に融合させたいと考えています。
あるグローバル通信会社では、記述的、予測的、規範的なあらゆる種類のパレート分析が開発され、解約を予期し、防止し、最小化しました。チャーン管理チームは、何百万人ものリスクのある顧客を文字通りに識別して保持する優れた作業を行っていました。しかし、リターンの縮小は始まった。パフォーマンスは高まりました。
グループが広がることに決めた時、すべてが変わった。顧客満足度、苦情、またはサービスに関するパレートの洞察力を強調する代わりに、彼らはアップセルを重視するいくつかのセールスマーケティングパレートデータセットを発見しました：購入した新規サービスの80％を占める顧客の20％新しいラインまたはデータプランの75％を担当する顧客の25％。
分析的にこれらのParetosで武装し、チャーンチームは、実際に顧客をアップセルできるかどうかを尋ねました。簡単な回帰分析と簡単なエージェントベースのモデリング手法は、パレートチャーナーとパレートの「アップセルラー」の間に有意なプロファイル相関を示しました。
スクリプトの作成や実験的なテストの提供は、かなり高速で、簡単で、安価でした。究極の結果は革命的ではありませんでしたが、それは増分をはるかに超えました。保持数は改善されただけでなく、チャーンチームはそれを保つのに費やす労力が少なく、成功率は2〜3％上昇しました。
しかし、このパレト・アンサンブルは、明らかにビジネス上のボーナスである場合には、思いがけないものです。 Churnチームの新しいParetosは、アップセルのセールスおよびマーケティング機能に役立っています。彼らの革新的なアンサンブルは、顧客満足度とNPS数を高めながら、自分の解約率を引き下げました。誰もが勝った。
Paretoアンサンブルの初期の成功は、Netflix Prizeの競争からの批判的な洞察を思い起こさせます。最良の結果は、個々のモデルのパフォーマンスの向上ではなく、最良の属性がまとめて増幅されたアンサンブルの作成によるものです。皮肉なことに、しかし適切に、パレート分析は最も価値のあるアンサンブルを決定することができます。
ここでの教訓は、競技に勝つために必要な段階的な結果には、多くのモデルを持つことが有用であることですが、実際には、うまく選択された数少ないモデルだけで優れたシステムを構築できます。
パレート分析をPareto分析に厳密に適用することは明らかですが、毎日その規律を示す組織はほとんどありません。それは変わらなければならない。戦略計画と技術ロードマップは、「パレート経路」によって分析的に情報を提供する必要があります。重要な将来を予測する能力、企業全体のKPIを組み合わせる機会は、効率性だけでなく破壊的な要因価値創造。
よりスマートにあなたのアルゴリズム、より多くの彼らとあなたの組織 - パレートとの間で学ぶ必要があります。
ライター
MITスローンスクールのデジタルビジネスセンターの研究員であるMichael Schrageは、書籍「Serious Play」（HBR Press）の著者であり、あなたの顧客は誰ですか？ （HBR Press）とInnovator’s Hypothesis（MIT Press）を参照してください。
参考
AI革命：超インテリジェンスへの道
注：この記事が完成するまでに3週間かかる理由は、私が人工知能に関する研究を掘り下げたとき、私が読んでいたものを信じることができなかったことです。 AIの世界で起きていることは、重要な話題ではなく、私たちの未来にとって最も重要な話題であることを、私はかなり早く打ちました。 だから私はそれについてできるだけ多くのことを学びたいと思っていました。そして私がそれをしたら、この全体の状況を本当に説明したポストを書いていることを確認したかったのです。 驚くことではないが、それはひどく長くなったので、私はそれを2つの部分に分けた。 これは第1部 - 第2部がここにあります。
私たちは、地球上の人間生活の台頭に匹敵する変化の最前線にいます。 - Vernor Vinge
ここに立つのがどんな感じですか？
立っているのはかなり激しい場所のようですが、時間のグラフに立っていることについて何かを覚えておく必要があります。あなたの右に何があるかを見ることはできません。 それで、実際にそこに立つのが実際にどのように感じられるのです：
おそらくかなり普通の感じです…
遠い未来 - 来る
世界が恒久的な停電にあった1750年までのタイムマシンを想像してください。長距離通信は大声で大声で叫ぶか、空気中で大砲を発射することを意味し、すべての輸送は乾草で走っていました。あなたがそこに着くと、あなたは男を拾い、彼を2015年に連れて行き、その後彼を歩き、彼がすべてに反応するのを見ます。高速道路で競争する光沢のあるカプセルを見たり、海岸の向こうにいた人々と話をしたり、1000マイルも遊んでいたスポーツを見たりすることは、私たちにとっては不可能です。 50年前に起こった音楽のパフォーマンスを聞き、実際のイメージを撮り、生きる瞬間を記録するのに使うことができる私の魔法のウィザードの長方形で遊んで、彼がどこにいるのかを示す超常的に動く青い点を持つ地図を生成する彼らが国の反対側にいるにもかかわらず、誰かの顔を見て、彼らとチャットし、他に想像もできない魔法の世界がある。あなたが彼にインターネットを見せたり、国際宇宙ステーション、大型ハドロンコライダー、核兵器、一般相対性理論のようなことを説明する前に、これはすべてです。
彼のこの経験は驚くべきことでも衝撃的なものでも、心に吹かれるものでもないでしょう。彼は実際に死ぬかもしれない。
しかし興味深いのは、彼が1750年に戻って彼の反応を見て欲しいと嫉妬して、同じことをやりたければ、タイムマシンを使い同じ距離に戻って、 1500年ごろ、彼を1750に連れて行き、彼にすべてを示す。そして1500人の人は、多くのことにショックを受けますが、彼は死ぬことはありません。 1500と1750は非常に異なっていましたが、1750年から2015年とははるかに違いはありませんでした.1500人の人間は、宇宙と物理学について何か心が疲れたことを学ぶでしょう。ヨーロッパがその新しい帝国主義の流行になっていることが判明したことに感心し、彼は彼の世界地図構想のいくつかの大きな改正をしなければならないだろう。しかし、日常生活を見ることは、交通、通信など1750年になります。間違いなく彼は死ぬことはありません。
いいえ、1750人の男が私たちと同じくらい楽しい時間を過ごせるようにするためには、最初の農業革命が最初の都市を生み出す前に、彼はずっと遠くに、そして文明の概念へ純粋に狩猟採集民の世界の人が、人類が多かれ少なかれ、他の動物種であったときから、崇高な教会や海洋渡りの船舶、1750年の人間の帝国を「内部、そして彼らの巨大な集団的で蓄積された人間の知識と発見の山は、おそらく死ぬでしょう。
死にかけた後、彼は嫉妬を覚え、同じことをしたいと思ったらどうでしょうか？彼が12,000年前に紀元前24,000に戻って男を得て、紀元前12,000に彼を連れてきたら、彼はその男にすべてを示し、その人は “あなたの気持ちは何か？"同じ楽しみ、彼は10万年以上戻って、初めて彼に火と言葉を見せてくれる人を手に入れなければならないだろう。
誰かが将来に輸送され、彼らが経験するショックのレベルから死ぬためには、彼らは「進歩のダイレベル」、すなわちDPU（Die Progress Unit）が達成されるまでに十分な年月を経なければなりません。だから、DPUは狩猟採集民の時代に10万年を費やしましたが、農業革命後の時代には約12,000年しかかかりませんでした。産業革命後の世界は急速に変わり、1750人がDPUが起こるのに数百年しか前進する必要はありません。
このパターン - 人間の進歩は、時間の経過と共により迅速かつ迅速に動く - 未来的なRay Kurzweilが人類歴史の「加速を加速させる法則」と呼ぶものです。これは、先進的な社会は先進的な社会よりも速いスピードで進歩する能力を持っているためです。 19世紀の人類は15世紀の人類よりも多くを知り、優れた技術を持っていたので、19世紀には人類がはるかに進歩したのは驚くことではない15世紀〜15世紀の人類は19世紀の人類には一致しませんでした11。
これは小さなスケールでも機能します。映画「Back to the Future」は1985年に発売され、「過去」は1955年に行われた。映画では、マイケル・J・フォックスが1955年に戻ったとき、彼はテレビの新しさ、ソーダ、シャリルエレクトリックギターへの愛の欠如、そしてスラングの変化などがあります。それは別の世界でしたが、映画が今日作られ、過去が1985年に行われた場合、映画ははるかに大きな違いを伴ってはるかに楽しくなりました。このキャラクターは、90年代後半に生まれた10代のマーティ・マクフライ（Marty McFly）が、1955年のマーティ・マクフライ（Marty McFly）よりも1985年にはるかに外れていた。
これは私たちが議論したのと同じ理由で、返品を加速する法則です。 1985年から2015年までの平均進出率は、1955年から1985年にかけてのそれよりも高かった。前者が先進国であったためである。
進歩はますます大きくなり、ますます急速に起こっています。これは、私たちの将来についてかなり激しいことを示唆しています。
Kurzweilは、20世紀全体の進展が2000年の進歩率でわずか20年間で達成されたことを示唆しています。言い換えれば、2000年までに、進捗率は平均進捗率の5倍20世紀。彼は2000年から2014年の間に20世紀の別の進歩が起こったと考えており、2021年までには20世紀の進歩がわずか7年で起こると考えています。数十年後、彼は20世紀の進歩は同じ年に何度も、さらには1ヶ月足らずで起こると考えています。結局のところ、Kurzweilは、21世紀が20世紀の進歩の1,000倍を達成すると信じています.2
Kurzweilと彼に同意する他の人が正しいとすれば、1750人が2015年までに2030年までに爆破される可能性があります。次のDPUは数十年しかかからないかもしれません.2050年の世界は、今日の世界とは大きく異なる可能性があります。
これはサイエンスフィクションではありません。これは、多くの科学者が、あなたや私がしっかりと信じているよりもスマートで知識が豊富なことです。歴史を見れば、論理的に予測する必要があります。
だから、なぜ、あなたが私に「今から35年後の世界は全く認識されないかもしれない」と聞くと、「クール…しかしナハハハッ」と思っていますか？未来の奇妙な予測が疑わしい3つの理由：
1）歴史に関しては、私たちは直線で考える。
次の30年の進展を想像すると、前の30年の進捗状況が、どのくらい起こるかの指標となります。 世界が21世紀にどの程度変化するかについて考えると、20世紀の進歩を踏まえて2000年に足していくだけです。これは1750年の人が1500年の 彼自身が同じ距離を先に吹き飛ばされたほどに彼の心を吹かせる。 私たちが指数関数的に考えなければならないとき、直線的に考えるのは最も直感的です。 誰かがそれについてもっと賢明であれば、彼らは過去30年間を見てではなく、現在の進歩率とそれに基づいて判断することによって、次の30年間の進歩を予測するかもしれません。 彼らはより正確ではあるが、それでもやり遂げるだろう。 将来を正しく考えるためには、今動いているものよりもはるかに速い速度で動くものを想像する必要があります。
2）非常に最近の歴史の軌跡は、歪んだ話をしばしば伝える。
第一に、急な指数関数的な曲線でさえも線形に見えます。小さな円で見ると、巨大な円の小さな部分を見ると同じように、ほぼ直線のように見えます。 第二に、指数関数的成長は完全に滑らかで均一ではありません。 Kurzweil氏は、「S字曲線」の進展が次のように説明しています。
Sは、新しいパラダイムが世界を掃討するときの進歩の波によって創造されます。曲線は3つの段階を経る：
1.低成長（指数関数的成長の初期段階） 2.急成長（指数関数的成長の後半、爆発的な段階） 3.特定のパラダイムが成熟するにつれて平準化3
直近の歴史だけを見ると、Sカーブの部分があなたの現在のスピードを知覚しにくくなります。 1995年から2007年の間に、インターネットの爆発、Microsoft、Google、Facebookの普及、ソーシャルネットワーキングの誕生、携帯電話、スマートフォンの導入などが見られました。それは第2段階でした：成長は2008年から2015年にかけては、少なくとも技術面では画期的なものではありませんでした。今日の将来について考えている人は、現在の進歩率を測るためにここ数年を調べるかもしれませんが、それはより大きなイメージを欠いています。実際には、新たな巨大なフェーズ2の成長スパットが今、醸成されているかもしれません。
3）私たち自身の経験は、私たちを将来について頑固な老人にする。
私たちは、私たちの個人的な経験に基づいて世界についての私たちのアイデアを立てています。その経験は、最近の過去の成長率を「起こる方法」として頭に浮かび上がらせました。将来の予測を喚起するためにそれを使用しますが、私たちが知っていることは、単に将来について正確に考えるツールを提供するものではありません.2私たちは、経験がどのように機能しているかという概念に矛盾する未来についての予測を聞くと、本能は予測が素朴でなければならないということです。このポストの後半に、あなたが150、250、または全く死んでいないと言ったら、あなたの本能は、 “それは愚かです。もし私が歴史から知っていることがあれば、誰もが死にます。 "そして、はい、過去に誰も死ぬことはありませんでした。しかし飛行機が飛行機になる前に飛行機を飛ばす人はいなかった。
あなたがこの記事を読んでいるとき、nahhhhhが正しいと感じるかもしれない間、それはおそらく実際には間違っています。事実、私たちが真に論理的であり、歴史的パターンが続くことを期待しているならば、私たちは直感的に予想するよりもずっと多くのものが今後数十年間に変わるはずだと結論づけるべきです。ロジックはまた、地球上の最も進化した種がどんどん大きく飛躍すると、ある時点で飛躍を遂げて、それが知っているように人生を完全に変えてくれると考えていますどのような生物が惑星地球上に生きているのかを完全に変えてしまったのは、人間のような大きな飛躍を遂げるまで、進化がどのように知性に飛躍していったかのような人間的なものであるということです。今日、科学技術で何が起こっているのかを読んでいれば、次に来る飛躍に耐えられないことを私たちが現在知っているので、静かにその人生を暗示している多くの兆候が見え始めます。
スーパーインテリジェンスへの道
AIとは何ですか？
あなたが私のような人なら、人工知能は愚かなSF概念だと思っていましたが、最近は深刻な人たちの言葉を聞いてきました。
多くの人々がAIという用語について混乱している3つの理由があります。
1）AIと映画を関連付ける。スターウォーズ。ターミネーター。 2001年：スペースオデッセイ。ジェットソン。ロボットキャラクターもそうです。だから、AIは少し私たちに架空の音を出します。
2）AIは幅広い話題です。それはあなたの携帯電話の電卓から自走車に至るまで、世界を劇的に変えるかもしれない将来のものまであります。 AIはこれらのすべてを指しており、混乱しています。
3）私たちは日々の生活の中で常にAIを使用しますが、しばしばそれがAIであることを認識しません。 1956年に「Artificial Intelligence」という言葉を作ったJohn McCarthyは、 “それが動作するとすぐに誰もそれをAIと呼びません"と訴えました4。この現象のため、AIはしばしば現実よりも神話的な将来の予測のように聞こえることがあります。同時に、決して実現しなかった過去のポップコンセプトのように聞こえます。 Ray Kurzweilは、AIは1980年代に枯れ、2000年代のドットコム・バストでインターネットが死んだと主張していると言われていると聞きました。
だから、物事を明確にしよう。まず、ロボットの考え方をやめてください。ロボットはAIのコンテナであり、時には人間の姿を模倣することもありますが、AI自体はロボット内部のコンピュータです。 AIは脳であり、ロボットは身体を持っていればその身体です。たとえば、Siriの背後にあるソフトウェアとデータはAIであり、私たちが聞いた女性の声はそのAIの人格化であり、ロボットはまったく関わっていません。
第二に、おそらく、「特異性」または「技術的特異性」という言葉を聞いたことでしょう。この用語は、通常の規則がもはや適用されない漸近線のような状況を表すために数学で使用されています。物理学では、無限に小さい、密なブラックホールのような現象や、ビッグバンの直前に押しつぶされた現象を記述しています。ここでも、通常の規則が適用されない状況。 1993年に、Vernor Vingeは、私たちが知っているような人生が永遠に変わり、通常のルールはもはや適用されなくなると、私たちの技術の知性が自分自身を超えている時代に、 。 Ray Kurzweilは、その後、加速を加速させる法律が急速に進歩し、技術進歩が無限のペースで起こっている時を特異点と定義して少し混乱させた後、我々はまったく新しい世界。私は、今日のAI思想家の多くがこの言葉の使用をやめてしまったことがわかりました。とにかくそれは混乱しています。私はここでそれをあまり使用しません。
最後に、AIは幅広い概念であるため、多くの異なるタイプまたはAIのAIが存在しますが、我々が考える必要のある重要なカテゴリはAIの口径に基づいています。 AIの3つの主要なカテゴリがあります：
AIキャリバー1）人工狭い知能（ANI）：弱いAIと呼ばれることもありますが、人工狭い知能は1つの領域に特化したAIです。チェスで世界のチェスチャンピオンを打ち負かすことができるAIがありますが、それが唯一のことです。ハードドライブにデータを保存するためのより良い方法を見つけ出すよう依頼してください。それはあなたを空白で見ます。
人工総合知能（AII）：人工総合知能（AII）：人工AIと呼ばれることもありますが、人工総合知能とは、人間全体と同じくらいスマートで、知的タスクを実行できるマシンを指します人間ができること。 AGIを作成することは、ANIを作成するよりもはるかに難しい作業です。まだ実行していません。 Linda Gottfredson教授は、知性を、「とりわけ、理性を立て、計画し、解決し、抽象的に考え、複雑な考えを理解し、素早く学び、経験から学ぶ能力を含む、非常に一般的な精神的能力」と説明します。できるだけ簡単にすべてのことをやりなさい。
AIキャリバー3）人工超知能（ASI）：オックスフォードの哲学者でAIの思想家でもあるニック・ボストロムは、超知性を「科学的創造性、一般的知恵、社会的スキルなど、あらゆる分野で最高の人間の脳よりずっと賢い知性」と定義しています。スーパーインテリジェンスは、人間よりもわずかにスマートなコンピュータから、賢く何千倍ものスマートなものまで、幅広く取り揃えています。 AIの話題がそのようなスパイシーなミートボールであり、なぜ「不滅」と「絶滅」という言葉がこれらの投稿に複数回出現するのかという理由がASIです。
今のところ、人間はAI-ANIの最も低い口径を多くの点で征服しています。どこにでもあります。 AI革命は、ANIからAGIを経てASIに至る道です。我々は生き残ってもいなくてもよい道ですが、いずれにしてもすべてを変えるでしょう。
現地の有力な思考家がこの道を見ていること、そしてなぜこの革命があなたが考えるかもしれないより早く起こるのかを見てみましょう：
私たちが現在どこにいるのか - ANIで実行中の世界
人工狭いインテリジェンスは、特定の事柄で人間の知性や効率と同等かそれ以上の機械インテリジェンスです。いくつかの例：
アンチロックブレーキが燃料噴射システムのパラメータを調整するコンピュータに取り込まれるべきであることがわかるコンピュータから、車はANIシステムでいっぱいです。現在テスト中のGoogleの自家用車には、周囲の世界を認識して反応することができる堅牢なANIシステムが搭載されます。 あなたの携帯電話は少しANIの工場です。地図アプリを使用してナビゲートしたり、Pandoraからのおすすめの音楽のおすすめを受信したり、明日の天気をチェックしたり、Siriに話を聞いたり、その他数多くの日常活動をANIを使用しています。 あなたの電子メール迷惑メールフィルタは、迷惑メールと迷惑メールが何であるかを把握する方法についての知識を積んだり、特定の嗜好を経験したときに覚えたり調整したりする典型的なタイプのANIです。ネストサーモスタットは、それがあなたの典型的なルーチンを把握し、それに従って行動するのと同じことをします。 あなたは、Amazonで商品を検索したときに起こる気まぐれなことを知っています。そして、別のサイトの「あなたにおすすめの」製品として、またはFacebookが何者かのように友人？これは、ANIシステムのネットワークであり、一緒に仕事をして、自分が誰で、何が好きであるかを互いに知らせ、その情報を使って何を見せるかを決定します。同じことがAmazonの「これを買った人たちも購入した…」ということになります。これは何百万という顧客の行動から情報を収集し、その情報を巧みにアップセルしてより多くのものを購入することになるANIシステムです。 Google翻訳はもう一つの古典的なANIシステムです.1つの狭い作業には印象的です。音声認識は別のもので、タグチームとしてこれら2つのANIを使用する一連のアプリケーションがあり、ある言語で文章を話し、別の言語で同じ文を吐き出させることができます。 あなたの飛行機が着陸するとき、どのゲートに行くべきかを決める人間ではありません。ちょうどあなたのチケットの価格を決めたのは人間ではありません。 世界最高のチェッカー、チェス、スクラブル、バックギャモン、オセロのプレイヤーはすべてANIシステムになりました。 Googleの検索は、ページをランク付けし、特にあなたに何を表示するかを把握するための、非常に洗練された方法を備えた大規模なANIの脳です。 FacebookのNewsfeedも同じです そして、それらは消費者の世界にあります。洗練されたANIシステムは、軍事、製造、金融などの分野や業界で広く使用されています（アルゴリズム市場の高頻度AIトレーダーは、米国市場で取引される株式の半分以上を占めています6）。最も有名なのは、十分な事実を含んでいて、恥ずかしがりなトレベックを理解していたIBMのワトソンです。 彼らが現在行っているANIシステムは、特に恐ろしいことではありません。最悪の場合、不具合やプログラムの悪いANIは、電力グリッドをノックアウトしたり、有害な原子力発電所の不具合を引き起こしたり、金融市場の災害を引き起こしたりするような孤立した大災害を引き起こす可能性があります（ANIプログラムが間違った予期せぬ状況に陥り、株式市場が一時的に暴落し、1兆ドルの市場価値が奪取されたが、そのうち一部は訂正されたときに回収された）。
しかし、ANIには存在する脅威を引き起こす能力はありませんが、現在進行中の世界変化のハリケーンの先駆けとして、比較的無害なANIのますます大きく複雑な生態系が見られるはずです。新しいANIの革新によって、静かにAGIとASIの道に別のレンガが追加されます。あるいは、アーロン・サエンツが見ているように、私たちの世界のANIシステムは、「地球初期の泡立ちのアミノ酸のようなものです。」という無意味な人生が起きました。
ANIからAGIまでの道
なぜそんなに難しいの？
私たちのようにコンピュータを賢明に作成しようとするのは信じられないほど挑戦的なことを学ぶのと同じように、人間の知性に感謝するものはありません。超高層ビルを築く、人間を宇宙空間に入れる、ビッグバンがどのようにダウンしたかの詳細を理解することは、私たち自身の脳を理解することよりもはるかに簡単です。今のところ、人間の脳は、既知の宇宙で最も複雑な物体です。
興味深いのは、AGI（一般的に人類のようなスマートなコンピュータで、狭い専門分野だけでなく）を構築しようとすることの難しい部分が、直感的にあなたが思うものではないということです。非常に簡単に2つの10桁の数字を2つに増やすことができるコンピュータを構築する。犬を見ることができ、それが犬であろうと猫であろうと驚くほど難しいと答えているものを作りなさい。チェスの人間を打ち負かすAIを作る？完了しました。 6歳の絵本からパラグラフを読んで、その言葉を認識するだけでなく、その意味を理解できるものを作ってください。 Googleは現在、それをしようとしていると何十億ドルも費やしている。計算力、計算力、戦略性、言語翻訳などの難しいことは、コンピュータでは簡単ではありませんが、視覚、動き、動き、知覚などの簡単なことは非常に困難です。あるいは、コンピュータ科学者ドナルド・クヌス（Donald Knuth）は次のように述べています。「AIは本質的に「思考」を必要とするすべてのことを成功させましたが、人々や動物が思考せずに行うことのほとんどを達成できませんでした。
これについて考えるとすぐに分かることは、私たちにとっては簡単に思えるものは信じられないほど複雑で、数百万年の動物進化によってそれらのスキルが最適化されているためです。オブジェクトに向かって手を伸ばすと、肩、肘、手首の筋肉、腱、骨が即座に一連の物理的操作を目に合わせて実行し、手をまっすぐに動かせるようにします三次元を通って線。それは、あなたがそれを行うためにあなたの脳のソフトウェアを完成させたので、あなたには楽に見えます。サイト上で新しいアカウントを登録するときに、単語の認識テストがうまくいかないことがあるため、マルウェアが気にならない理由は同じです。
一方、大きな数字を増やしたり、チェスをすることは、生物の新しい活動であり、能力を発揮する時間がなかったので、コンピュータは私たちを打ち負かすためにあまりにも熱心に働く必要はありません。それを考えてください。大きな数字を掛けるプログラムやBの本質を理解できるプログラムを作って、何千もの予測不能なフォントや手書きのいずれかにBを表示することができます。すぐにそれがBだったことを知っていますか？
1つの楽しい例 - これを見ると、あなたとコンピュータの両方が、2つの異なる色合いの矩形であることが分かります。
これまでに結ばれている。しかし、あなたが黒を拾い、全体像を明らかにすれば…
…様々な不透明で半透明なシリンダー、スラット、3次元コーナーを完全に記述することは問題ありませんが、コンピューターは悲惨に失敗します。 それは、何が見えるのかを記述します。さまざまな2次元のさまざまなシェイドが、実際にはそこにあるものです。 あなたの脳は暗黙の深み、陰影の混合、部屋の照明を描写しようとしています。下の図を見ると、コンピュータは2次元の白、黒、灰色 コラージュ、あなたはそれが本当に何であるかを簡単に見ている間、完全に黒い3次元の岩の写真です：
私たちが言及したことは、依然として停滞した情報を取り込んで処理しているだけです。 ヒューマン・レベル・インテリジェントであるためには、微妙な表情の違い、満足感、満足感、喜び、そしてなぜBraveheartが素晴らしかったのか、The Patriotがひどかったのかといった違いを理解する必要がありました。
ダウニング。
だから、どうやってそこに着くの？
AGI作成の第一歩：計算力の向上
AGIが可能になるためにはっきりと起こる必要があることの1つは、コンピュータハードウェアのパワーの増加です。 AIシステムが脳と同じように知性を持つようになるなら、脳の生の計算能力と同等である必要があります。
この能力を表現する1つの方法は、脳が管理できる1秒あたりの総計算量（cps）です。脳内の各構造の最大cpsを計算し、それらをすべて一緒に追加することによって、この数に達することができます。
Ray Kurzweilは、1つの構造のcpsとその構造の重みを全脳のそれに比べてプロの推定値を取ってから比例的に掛け合わせることで、ショートカットを作り出しました。ちょっと聞こえるかもしれませんが、彼はこれをさまざまな地域の様々なプロの見積もりで数回行いました。その合計は常に同じ球場に到着しました.1106、つまり10兆兆cpsです。
現在、世界最速のスーパーコンピュータである中国の天河2号機は、実際には約34兆兆cpsで計上されています。しかし、天河2号は、24メガワットのパワー（脳はわずか20ワット）を使って720平方メートルのスペースを占め、ビルドに3億9,000万ドルのコストをかけている。特に、幅広い使用法、あるいはほとんどの商業的または工業的用途には適用されません。
Kurzweilは、1,000ドルで購入できるcpの数を見て、コンピュータの状態を考えていることを示唆しています。その数が人間のレベルに達すると10兆分の1 cpsになると、それはAGIが人生の本当の部分になることを意味します。
ムーアの法則は、世界最大のコンピューティングパワーがおよそ2年に倍増するという歴史的にも信頼できるルールであり、コンピュータハードウェアの進歩は歴史を通じた一般的な人間の進歩と同様に指数関数的に増加しています。これがKurzweilのcps / 1,000ドルメトリックとどのように関係しているかを見ると、現在のところ、このグラフの予測軌道に沿ったペースで、約10兆cps / 1,000ドルです。
だから、世界の1000ドルのコンピュータは現在、マウスの脳を襲っており、彼らは人間のレベルの約1000分の1にいる。 これは、私たちが1985年に約1兆分の1、1995年に10億分の1、2005年に100万分の1になったことを覚えていない限り、あまり好きではありません。2015年に1000分の1になると、手頃な価格 脳の能力に匹敵する2025年までのコンピュータ。
ハードウェア側では、AGIに必要な生の電力は現在中国で技術的に入手可能で、10年以内に手ごろな価格で普及したAGI対応ハードウェアの準備が整います。 しかし生の計算力だけではコンピュータを一般的にインテリジェントにすることはできません。次の問題は、ヒューマンレベルの知性をどのようにすべての力にもたらすのでしょうか？
AGI作成の第2の鍵：スマート化
これは厄介な部分です。真実は、誰もそれをスマートにする方法を本当に知っているわけではありません。私たちは、コンピュータをヒューマン・レベルでインテリジェントにする方法と、犬と奇妙な書かれたBと普通の映画が何であるかを知ることができる方法について議論しています。しかし、そこには遠くからの戦略がたくさんあり、ある時点ではそのうちの1つが機能します。ここに私が遭遇した3つの最も一般的な戦略があります：
1）脳を剽窃する。
これは、授業中に隣に座っている子供がとてもスマートで、テストでうまくやっていることを科学者が指摘しているようなものです。彼らが勉強を続けているにもかかわらず、彼らは最終的に “私はちょうどその子供の答えをコピーするつもりだkを決める"それは意味がある - 我々は超複雑なコンピュータを構築しようと困惑していると、私たちの頭のそれぞれに完璧なプロトタイプが存在する。
科学の世界は、脳をリバースエンジニアリングして、進化がどのようにしてラッドなものになったかを理解するために努力しています。楽観的な見積もりでは、2030年までにこれを行うことができると言われています。強力かつ効率的に、そして我々はそれからインスピレーションを引き出し、革新を盗むことができます。脳を模倣するコンピュータアーキテクチャの一例は、人工ニューラルネットワークである。それは入力と出力でお互いに接続されたトランジスタ “ニューロン"のネットワークとして始まり、幼児の脳のように何も知らない。それが "学ぶ"ということは、手書き認識と言う仕事をしようとすることです。そして、最初に、各文字を解読する際の神経の発火とその後の推測は完全にランダムになります。しかし、何か正しいことが言われたら、その答えを生み出すために起こった発火経路のトランジスタ接続が強化されます。それが間違っていると言われると、それらの経路のつながりは弱まる。この試行とフィードバックの多くの後、ネットワークはそれ自体でスマートな神経経路を形成し、マシンはそのタスクのために最適化されています。脳はこのように少し習得しますが、より洗練された方法で学習し、脳の研究を続けながら、神経回路を活用するための斬新な新しい方法を発見しています。
より徹底した剽窃には、「脳全体のエミュレーション」という戦略があります。実際の脳を薄い層にスライスし、それぞれをスキャンし、ソフトウェアを使用して正確な再構築3Dモデルを構築し、強力なモデルコンピューター。私たちは、脳が可能なすべてのものを正式にコンピュータに持たせることができます。情報を覚えて収集するだけでよいのです。エンジニアが本当に得意であれば、脳のアーキテクチャがコンピュータにアップロードされると、脳の完全な個性と記憶が損なわれないような正確な精度で実際の脳をエミュレートすることができます。彼が亡くなる直前に脳がジムに所属していたなら、コンピュータはジム（Jim）として目を覚ますだろう。これは丈夫な人間レベルのAGIとなるだろう。今はジムを想像を絶する賢明なASIに変える作業をすることができる。おそらく本当に興奮しているだろう。
脳全体のエミュレーションを達成するまでにどれくらいの時間がかかりますか？今のところ、私たちはまだ最近、1mm長のフラットワーム脳を模倣することはできませんでした。これはわずか302のニューロンで構成されています。人間の脳には1000億人が含まれています。それが絶望的なプロジェクトのように思えるなら、小さなワームの脳を征服したばかりの指数関数的進歩の力を覚えていて、あまりにも長い間前に蟻が起こり、マウスの後に突然起こる可能性があります。 2）前回と同じように進化させてください。
スマートな子供のテストをコピーするのが難しいと判断した場合、代わりにテストのために学習する方法をコピーすることができます。
ここに私たちが知っているものがあります。脳と同様に強力なコンピュータを構築することは可能です。私たち自身の脳の進化は証明です。また、脳が複雑すぎてエミュレートすることができない場合は、代わりに進化をエミュレートすることができます。事実、たとえ私たちが脳をエミュレートすることができたとしても、それは鳥の羽ばたき動作をコピーして飛行機を作りようとするようなものかもしれません。機械は、生物学を正確に模倣するのではなく、 。
それでは、AGIを構築するための進化をどのようにシミュレートできますか？ 「遺伝的アルゴリズム」と呼ばれるこの方法は、何度も何度も繰り返されるパフォーマンスと評価のプロセスが生まれます（生物の生き物が生きているのと同じ方法で、彼らは再現するかどうかを管理する）。あるグループのコンピュータはタスクを実行しようとし、最も成功したものは、それぞれのプログラミングの半分を一緒に新しいコンピュータに統合することによってお互いに育てられます。あまり成功していないものは排除されるでしょう。多くの繰り返しにわたって、この自然選択プロセスはより良い、より良いコンピュータを生むでしょう。課題は自動化された評価と繁殖サイクルを作り出すことであり、この進化プロセスはそれ自身で実行できる。
進化をコピーすることの欠点は、進化は何十億年もかかることが好きであり、数十年後にこれをやりたいと考えています。
しかし、我々は進化よりも多くの利点があります。まず、進化には先見性がなく、無作為に働きます。有用な変異よりも有益な突然変異を生成しますが、プロセスを制御して有益な不具合と目標を微調整するだけです。第二に、進化はインテリジェンスを含む何かを目指すものではありません。時には環境がより高い知能に対して選択することさえあります（それは多くのエネルギーを使用するためです）。一方、われわれは、この進化的プロセスを具体的に知能向上に向けることができた。第三に、インテリジェンスを選択するために、進化は、細胞がエネルギーを作り出す方法を改革するなど、インテリジェンスを促進するための他の多くの方法で革新しなければなりません。進化よりずっと速くなることは間違いありませんが、これを実行可能な戦略にするために進化を十分に改善できるかどうかはまだ分かりません。
3）この全部を私たちの問題ではなくコンピュータの問題にする。
これは、科学者が必死になり、テストを自分自身にするようにプログラムしようとするときです。しかし、それは私たちがもっとも有望な方法かもしれません。
アイデアは、AIの研究と変更のコーディングを2つの主要なスキルで行うことで、独自のアーキテクチャを学ぶだけでなく改善することができるコンピュータを構築することです。コンピュータをコンピュータ科学者に教えて、自分たちの開発をブートストラップすることができます。そして、それは彼らの主な仕事 - 自分をよりスマートにする方法を考え出すことでしょう。これについては後で詳しく説明します。
これのすべてはすぐに起こりうる
ハードウェアの急速な進歩とソフトウェアによる革新的な実験が同時に行われており、AGIは次の2つの主な理由により、
1）指数関数的な成長が激しく、カタツムリの進歩のペースのように見えるものは、急速に上昇する可能性があります。このGIFは、この概念をうまく示しています。
2）ソフトウェアに関しては、進歩は遅く見えるかもしれませんが、1つのエピファニーが即座に進歩の速度を変えることができます（人間が宇宙が地球中心であると思っている間、科学が宇宙の働きを計算するのが難しい しかし、それが突然心地よいという発見は、すべてをずっと簡単にしました）。 それとも、自分自身を改善するコンピュータのようなものになると、遠く離れているように見えるかもしれませんが、実際には1,000倍の効果があり、人間レベルのインテリジェンスに向かって拡大していくというシステムのほんの一歩です。
AGIからASIへの道
ある時点で、我々は人間レベルの一般知能を備えたAGIコンピュータを達成するでしょう。平等に一緒に住んでいる人々とコンピュータのちょうど束。
ああ、実際には全く。
事実、人間と同じレベルの知能と計算能力を持つAGIは、人間よりもまだ大きな利点があります。次のように：
ハードウェア：
速度。脳のニューロンは約200Hzで最大になりますが、今日のマイクロプロセッサー（AGIに達するときよりもはるかに遅いマイクロプロセッサー）は、2GHz、つまりニューロンよりも1000万倍高速です。約120m / sで動くことができる脳の内部通信は、光の速度で光学的に通信するコンピュータの能力によってひどく凌駕されています。 サイズと保管。脳は頭蓋骨の形でその大きさに固定されていて、とにかく大きくならないか、120m / sの内部通信が脳構造から別の構造に到達するには時間がかかりすぎるでしょう。コンピュータを物理的なサイズに拡張することで、はるかに多くのハードウェアを稼働させることができ、作業メモリ（RAM）を大幅に増やすことができます。 信頼性と耐久性。より正確なコンピュータの思い出だけではありません。コンピュータトランジスタは生物学的なニューロンよりも正確であり、劣化する可能性は低い（修復または交換が可能な場合）。人間の頭脳も疲労しやすく、コンピュータは最高のパフォーマンスで24時間365日連続して動作することができます。 ソフトウェア：
編集可能性、アップグレード可能性、幅広い可能性。人間の脳とは異なり、コンピュータソフトウェアは更新や修正を受けることができ、簡単に実験することができます。アップグレードは、人間の脳が弱い領域にも及ぶ可能性があります。人間のビジョンソフトウェアは高度に高度化していますが、その複雑なエンジニアリング能力はかなり低いレベルです。コンピュータは人間の視覚ソフトウェアとマッチすることができますが、エンジニアリングやその他の分野でも同様に最適化することができます。 集合的能力。人間は広大な集団知性を構築する上で、他の種を押しつぶす。言語の開発や、執筆や印刷の発明を通じた大規模で密集したコミュニティの形成から、インターネットのようなツールによって強化されてきた人類の集団情報は、私たちがこれまでに得た大きな理由の1つです他のすべての種よりはるかに先行しています。そして、コンピュータは私たちよりも優れているでしょう。特定のプログラムを実行しているAIの世界的なネットワークは、それ自体と定期的に同期することができ、その結果、あるコンピュータが習得したものは、他のすべてのコンピュータに即座にアップロードされます。このグループは、人口の中にあるように意見や動機、自己利益に反するとは必ずしも言えないので、1つの目標として1つの目標を達成することもできます。 自己改善のためにAGIになる可能性のあるAIは、「人間レベルの知性」を重要なマイルストーンとは見なしませんでした。これは、私たちの立場から見ると唯一の関連するマーカーであり、何の理由もありません。私たちのレベルで “停止"。また、人間の知能でも同等のAGIが持つ優位性を考えれば、優れた人間の知能の領域に向けてレースを行う前に、ただちに人間の知性に打撃を与えることは明らかです。
それが起こると、これは私たちのたわごとを衝撃するかもしれません。その理由は、私たちの見解では、A）さまざまな種類の動物の知性が異なる一方で、動物の知能について我々が知っている主な特徴は、それが我々のものよりはるかに低いことであり、B）愚かな人間よりもスマートです。このようなもの：
だから、AIが私たちの知能を上向きにすると、動物のために単純に賢くなると見なされます。 それで、人類の最低能力に当たったとき、ニック・ボストロムは「村の馬鹿」という言葉を使っています。私たちのようなものです。「ああ、うわー、それは愚かな人間のようだ。 かわいい！」唯一のことは、諜報の壮大なスペクトルの中で、村の馬小屋からアインシュタインまでのすべての人間が非常に小さい範囲内にあることです - 村の馬小屋レベルに当たってAGIと宣言された直後に、 アインシュタインよりも賢くて、私たちが何を打つのか分かりません。
その後、どうなるの？
知能爆発
この話題が不規則で恐ろしいものになっているので、通常の時間を楽しんでいただければ幸いです。私がここで取り上げたいのは、私が言うつもりのことは、最も尊敬されている思想家や科学者からの真実の科学と未来の本当の予測です。それだけを覚えておいてください。
とにかく、私が上記のように、AGIに近づくための私たちの現在のモデルのほとんどは、AIが自己改善によってそこに到達することを伴います。そして、それがAGIに到達すると、自己改善を伴わない方法で形成され成長したシステムでさえも、自分が望むなら自己改善を開始するのに十分なほどスマートになります3。
ここでは、再帰的な自己改善という強烈なコンセプトに到達します。このように動作します。
あるレベルのAIシステム（人間の村の馬鹿馬鹿より言ってみましょう）は、自分の知性を向上させるという目的でプログラムされています。それが終わると、それはよりスマートになります。アインシュタインのレベルにあります。アインシュタインレベルの知性を持って、知性を向上させるために働くとき、より簡単な時間があり、より大きな飛躍を遂げることができます。これらの飛躍はどんな人間よりもずっと賢くなり、より大きな飛躍を可能にします。飛躍がますます大きくなり、より迅速に起こるにつれて、AGIはインテリジェンスを高め、すぐにASIシステムのスーパーインテリジェントなレベルに到達します。これは知性爆発と呼ばれ、11究極の復帰法則の例です。
AIがどのくらい人間のレベルの一般的な知性に到達するかについて、いくつかの議論があります。数百人の科学者を対象としたアンケートでは、AGIに達していない可能性が高いと信じていた年の中央値年は204012でしたが、今からわずか25年です。この分野の思想家は、AGIからASIへの進行が非常に迅速に起こる可能性が高いと考えています。このようなことが起こる可能性があります：
最初のAIシステムが低レベルの汎用インテリジェンスに到達するまでには数十年かかりますが、最終的に発生します。コンピュータは、周囲の世界だけでなく、4歳の人間を理解することができます。突然、そのマイルストーンを打つ1時間以内に、システムは、一般相対性理論と量子力学を統一する物理学の壮大な理論を汲み出します。人間が決定的に行うことはできませんでした。その90分後、AIは人間よりも17万倍も知的なASIになりました。
その大きさの超インテリジェンスは、我々が遠隔地で把握できるものではなく、バンブルビーがケインズ経済学の頭を覆うことはできません。私たちの世界では、スマートは130 IQを意味し、愚かなことは85 IQを意味します.IQは12,952です。
私たちが知っていることは、この地球上の人間の完全な支配が明確なルールを示唆しているということです。つまり、私たちがそれを作ったとき、ASIは地球上の生命の歴史の中で最も強力な存在になり、人間を含むすべての生き物は完全に気まぐれになり、これは数十年後に起こるかもしれません。
われわれの貧弱な脳がWi-Fiを創造することができたなら、我々よりも賢く100倍、1,000倍、または10億倍の何かが、いつでも好きな方法で世界中の各原子の位置を制御する上で問題にならないはずです。魔法を考えてみましょう。最高の神が持っていると想像するすべての力は、軽いスイッチでフリップすることが私たちのためのものであるため、ASIの活動としては平凡であるでしょう。人間の老化を逆転させ、病気や飢えや死亡を治癒する技術の創造、地球上の人生の未来を守るために天候を再プログラミングすることは突然可能です。地球上のすべての人生のすぐ終わりも可能です。私たちが考える限り、ASIが現れれば、地球上には全能の神がいます - そして、私たちにとって非常に重要な質問は、
素敵な神ですか？
参考
http://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html
