私は前のブログに次の年の予測を書いていました。私が最後に書いたのは、2011年のソフトウェア開発動向と予測でした。それはかなり前のことです。10の予測のうち、私は6つの予測（つまり、Javascript VM、NoSQL、Big Data Analytics、プライベートクラウド、Inversion of Desktop Services、Scala）を得ているが、残りの4つは十分なトラクションを得ていないAppStore、Semantic Indexing、企業内のOAuth、プロアクティブエージェント）。実際、AppStoresとOAuthは大企業では発生しませんが、中小企業はこのSaaSモデルを全面的に採用しています。予測の失敗をチョークして、遅い企業が実際にどのように変化するかを予測できないようにします。残りの2つの予測、セマンティック索引付けとプロアクティブエージェントの予測、私が当初計画していたように残念ながら進歩していません。私はその時のAI技術を過度に推測しているかもしれません。当時、ディープラーニングは発明されていなかった。ディープ・ラーニングの予測は、私の以前の予測と同じ概念レベルではありません。私は企業の採用を予測するつもりはありませんが、むしろ研究動向と予測に焦点を当てるつもりです。間違いなく、ディープラーニングはAIの採用を企業に促します。まだ岩の下に住んでいる人にとって、ディープ・ラーニングはAIにとって最も重要なアプローチであるという事実です。しかし、それほど明白でないのは、2017年にどのような新しい機能が発生し、指数関数的な導入につながるかということです。だからここに2017年の私の恐ろしい予測が来る。

1.ハードウェアは、ムーアの法則（すなわち、2017年に2倍）を倍増させるでしょう。

これは、もちろん、NvidiaとIntelの開発状況を追跡すると完全に明らかです。Nvidiaは2017年全体で最も豊富なDeep Learningエコシステムを備えているため、スペースを支配します。DLのために開発されたエコシステムが十分にあるまで、正しい考え方の誰も他のプラットフォームにジャンプしません。Intel Xeon Phiソリューションは到着時にDLに応答して死んでいます。最高でも、ネルバナ由来のチップが発売される2017年中頃までに、彼らはNvidiaのパフォーマンスに追いつくかもしれません。インテルのFPGAソリューションは、単に経済性のためにクラウドプロバイダーの採用を見るかもしれません。消費電力は、削減が必要な変数の1つです。IntelのNervanaベースのチップは、2017年半ばまでに30テラフロップでクロックインする可能性が高い。これは私の推測ですが、今日はすでに20テラフロップスになっているので、2018年までインテルに大きなインパクトがあるとは思っていません。インテルが持つ唯一の大きなエースは、3D XPoint技術です。これは、ハードウェアスタック全体を改善するのに役立ちますが、パフォーマンス上の理由から、GPUがチップの上にスタックされたHBM2を使用することを考慮すると、必ずしもコアアクセラレータ機能ではありません。 AmazonはFPGAベースのクラウドインスタンスを発表しました。これは、ザイリンクスUltraScale +テクノロジに基づいており、1回のインスタンスで6,800個のDSPスライスと64 GBのメモリを提供しています。これは素晴らしい機能ですが、HBMバージョンのUltraScale +を提供しないことでI / O制限を受ける可能性があります。Nvidia、Intel、さらにはAMDと比較してメモリ帯域幅の低いソリューションは、開発者がより複雑な開発プロセス（VHDL、Verilogなど）に投資するかどうかを中断する可能性があります。最近のニュースでは、AMDはディープ・ラーニング・アクセラレータの新しいAMD Instinctラインを発表しました。これらの仕様は、Nvidiaハードウェアと比較して非常に競争力があります。この製品は、2017年初頭に発売される予定です。これはおそらく、AMD ROCmソフトウェアが成熟するのに十分な時間であるはずです。

2.畳み込みネットワーク（CNN）が支配する

CNNは、DLシステムの普及したパン・アンド・バター・モデルとなるでしょう。再構成と埋め込みメモリノードを持つRNNとLSTMは、CNNベースのソリューションと競合しないため、あまり簡単に使用されません。GOTOがプログラミングの世界で姿を消したように、RNNs / LSTMでも同じことが期待されます。実際、パラレル・アーキテクチャは、パフォーマンスにおいてシーケンシャル・アーキテクチャを凌駕します。微分可能なメモリネットワークがより一般的になります。これは、メモリがコアノードからリファクタリングされ、計算コンポーネントとは別のコンポーネントとして存在するアーキテクチャの自然な結果です。補助的な微分可能なメモリに置き換えることができるLSTM用の入力ゲートと出力ゲートを忘れる必要はありません。私たちはすでにLSTMをリファクタリングしてメモリを切り離す会話を見ています（拡張メモリRNNを参照）。

3.デザイナーはMeta-Learningにもっと頼ります

ディープ・ラーニングの旅を始めると、最適化アルゴリズム、特に2次の最適化アルゴリズムが大幅に改善されると思っていました。今日、執筆は壁に、DLは今あなたのための最適化アルゴリズムを学ぶことができます。SGDのより良いバージョンを検討している人にとっては、これが終わりです。SGDのより良いバージョンは、マシンで学習されたもので、手元の問題に固有のものです。メタ学習は、そのドメインに基づいて学習を適応的に最適化することができます。さらにこれに関連して、バックプロパゲーションに対する代替アルゴリズムが実際に現れ始めるかどうかが問題となる。2017年に手をつけたSGD アルゴリズムが最後の足にある可能性があります。

4.強化学習はより創造的になります

現実に関する観察は常に不完全なままです。SGDが適用されない場合、多くの問題があります。これにより、DLシステムの実用的な展開には何らかの形式のRLが必要になることが必須です。これに加えて、私たちはDLトレーニングの多くの場所で使用されるRLを見ていきます。例えば、メタラーニングは、RLによって大きく有効にされる。事実、RLはさまざまな種類のニューラルネットワークアーキテクチャを見いだしてきました。これは、ステロイドでのハイパーパラメータ最適化のようなものです。Gaussian Processビジネスに参加した場合、あなたのランチはちょうど食べられました。

5.敵対的で協力的な学習が王様になる

昔、単一の解析目的関数を持つモノリシックなDLシステムがありました。新しい世界では、2つ以上のネットワークが協力しているか、競合するシステムが分析的な形ではない最適なソリューションに到達することを期待しています。「ゲーム理論はディープラーニングの未来を明らかにする」を参照。2017年には、非平衡の状況を管理しようとする際に多くの研究が行われます。研究者がGANとの非平衡状態を処理する方法を見つけようとしているところでは、すでにこれを見ることができます。

6.予測学習や教師なし学習はあまり進まない

「予言的学習(Predictive Learning)」は、ヤン・ルクンがより一般的な用語である「教師なし学習」に代わる新しい流行語です。この新しい用語が採用されるかどうかは不明です。教師なし学習または予測学習が2017年に大きな進歩を遂げるかどうかという疑問。私の現在の感覚は、それがうまくいかなければならないかについての大規模な概念的切断があるように見えることではないということです。前回の「5つのディープ・ラーニング・インテリジェンスの機能」を読んだら、Predictive Learningは私が提案したモデルに靴ひもをつける必要がある完全に未知の機能だと感じました。予測学習は宇宙論者ダークマターのようなものです。私たちはそれがそこにあることを知っていますが、私たちはそれを見る方法を知らないだけです。私の感慨深さは、高いエントロピーやそれ以外の場合のランダム性と関係があるということです。 7.移転学習は工業化につながる Andrew Ngはこれが重要だと思っています。私もそうだと思います！ 8.より多くのアプリケーションはディープラーニングをコンポーネントとして使用しますディープラーニングがはるかに大きな検索アルゴリズムで機能評価コンポーネントとして使用されていることを2016年に確認しました。AlphaGoは、その価値観と政策評価においてDeep Learningを採用しました。GoogleのGmail自動返信システムでは、DLをビーム検索と組み合わせて使用していました。私は、新しいエンドツーエンドの訓練されたDLシステムではなく、これらのハイブリッドアルゴリズムをもっと多く期待しています。エンドツーエンドのディープラーニングは研究の魅力的な領域ですが、現在はハイブリッドシステムがアプリケーション分野でより効果的になるでしょう。 9.デザインパターンがますます採用されるディープラーニングは、概念的な構造を必要とする複雑な分野の1つにすぎません。すべての先進的な数学にかかわらず、正式な厳密さではなく、ソフトウェア開発のような他の複雑な領域で効果的であることが証明された方法で最もよく捕捉できる手振れやファジィな概念が数多くあります。デリバリーとデザインのパターンに関しては、実践者が最終的に「得る」と予測しています。これは、ディープ・ラーニング・アーキテクチャーがモノリシックではなくモジュラーになっているという事実によってさらに動機づけられます。エンジニアリングは理論を上回ります研究者と彼らが採用している数学的ツールの背景は、研究アプローチにおける一種の偏りの育成場です。ディープラーニングシステムと教師なし学習システムは、これまでに遭遇したことのない新しいタイプの可能性があります。したがって、従来の分析ツールはDLが実際にどのように動作するかについての謎を解明する助けとなるという証拠はありません。物理学には数十年の間に悩まされている力学系がたくさんありますが、私は動的学習システムに関しても同じ状況を見ています。しかし、このような状況は、ファンダメンタルズの理解が不足しているにもかかわらず、さらに高度なアプリケーションの設計を妨げることはありません。ディープラーニングは、バイオテクノロジーや遺伝子工学のようなものです。私たちはシミュレートされた学習マシンを作成しましたが、どのように動作するか正確にはわかりませんが、誰もそれを革新することを妨げていません。