2017-03-18

深層学習ネットワークを使って小惑星を分類するプロジェクト

サンプルソース https://github.com/j3doucet/DBNN.NASA

DBNN.NASAはNASA WISEプロジェクトの光カーブデータで6000の既知の小惑星を訓練した深いニューラルネットワークを使って小惑星を分類するプロジェクトです。私たちのプログラムは、新しく発見された小惑星の告知のためにマイナー惑星センターのウェブサイトを擦り取り、それらをWISEソースデータベースと相互参照し、それらをニューラルネットワークで分類します。今後は、WISE画像データ上の深いニューラルネットワークを訓練して、小惑星の同時検出と分類を行うことで、このプロジェクトを拡張する予定です。

このプロジェクトは、小惑星の画像挑戦のニューロモルフィック研究を解決しています。説明 DBNN.NASAは、ニューラルネットワークを使ってライトカーブに基づいて小惑星を分類するプロジェクトです。 DL4Jライブラリは、NASA WISEプロジェクトの光カーブデータを使って、6000の既知の小惑星に基づいて深いニューラルネットワークを訓練するために使用されました。

私たちのプログラムは、新しく発見された小惑星の通知のためにマイナーな惑星センターのウェブサイトを自動的に掻き集め、WISEソースデータベースの情報と相互参照して、ライトカーブデータを抽出し、それらをニューラルネットワークで分類することができます。 GUIは、最新の50小惑星の表、地球中心座標における小惑星の位置の地図、および動作中のニューラルネットワークの視覚化からなる。ユーザーはインターネットから新鮮なデータを取り込むか、ファイルから小惑星の参照を読み込むことができます。

今後は、WISE画像データ上のディープニューラルネットワークや小惑星の自動検出と分類のためのライトカーブを実行することで、このプロジェクトを拡張したいと考えています。

PROJECT INFORMATION

License: Apache License 2.0 (Apache-2.0) Source Code/Project URL: https://github.com/j3doucet/DBNN.NASA

RESOURCES Video - https://www.youtube.com/watch?v=_5a-Q4eLso4

参考

https://2015.spaceappschallenge.org/project/dbnnnasa/ https://2015.spaceappschallenge.org/challenge/neuromorphic-studies-asteroid-imagery/#projects

2017-03-17

畳み込みニューラルネットワークを理解するための初心者向けガイド

深層学習

f:id:miyamotok0105:20170305124437p:plain

前書き

畳み込みニューラルネットワーク。生物学と数学の奇妙な組み合わせのように聞こえるかもしれませんが、これらのネットワークはコンピュータビジョンの分野で最も影響力のあるイノベーションの一部です。 Alex Krizhevskyが2005年のImageNet（基本的にはコンピュータビジョンの年次オリンピック）に勝利し、分類エラーの記録を26％から15％に落とし、神経ネットが目立つようになったのは2012年です。それ以来、数多くの企業が深い学習を彼らのサービスの中核に使ってきました。 Facebookは自動的なタグ付けアルゴリズムのためにニューラルネット、Googleは写真検索、Amazonは商品の推奨、Pinterestは自宅のフィードパーソナライゼーション、Instagramは検索インフラストラクチャを使用しています。

しかし、これらのネットワークの古典的な、そして間違いなく最も一般的なユースケースは、画像処理のためのものです。画像処理の中で、これらのCNNを画像分類に使用する方法を見てみましょう。

問題

画像分類は、入力画像を取得し、クラス（猫、犬など）または画像を最も良く記述するクラスの確率を出力するタスクである。人間にとって、この認識の仕事は、生まれた瞬間から学ぶ最初のスキルの一つであり、成人として自然に、楽に来るものです。二度も考えなくても、私たちは、私たちの周囲の環境だけでなく、私たちを取り囲む物体を素早くシームレスに識別することができます。私たちがイメージを見るときや、私たちの周りの世界を見るときには、ほとんどの場合、シーンをすぐに特徴付けることができ、各オブジェクトにラベルを付けることができます。パターンを素早く認識し、事前の知識から一般化し、さまざまな画像環境に適応することができるこれらのスキルは、私たちの仲間のマシンと共有していないものです。

f:id:miyamotok0105:20170305124503p:plain

入力と出力

コンピュータが画像を見ると（画像を入力として）、ピクセル値の配列が表示されます。画像の解像度とサイズに応じて、32 x 32 x 3の数の配列が表示されます（3はRGB値を参照します）。ここでは、JPG形式のカラーイメージがあり、そのサイズは480 x 480であるとしましょう。代表的な配列は480 x 480 x 3です。これらの各数値には、0〜255の値が与えられます。その点のピクセル強度これらの数値は、画像分類を実行するときには意味がありませんが、コンピュータで使用できる唯一の入力です。アイデアは、コンピュータにこの数字の配列を与え、画像が特定のクラス（猫の場合は.80、犬の場合は.15、鳥の場合は.05など）の確率を表す数値を出力するということです。

コンピュータにしたいこと

ここで問題と入力と出力を知ったので、これにアプローチする方法を考えてみましょう。私たちがしたいのは、与えられたすべての画像を区別し、犬を犬にしたり、猫を猫にするユニークな特徴を見つけ出すことです。これは私たちの心の中で無意識に進行するプロセスです。犬の絵を見ると、足や足などの識別可能な特徴を持つ絵があれば、それを分類することができます。同様に、コンピュータは、エッジやカーブなどの低レベルのフィーチャを探し、一連の畳み込みレイヤを介してより抽象的なコンセプトを構築することによって、画像の分類を実行することができます。これは、CNNが行うことの一般的な概要です。詳細についてみましょう。

生物学的なつながり

しかし、まず、少し背景。あなたが最初に畳み込みニューラルネットワークという言葉を聞いた時、あなたは神経科学や生物学に関係するものを考えていたかもしれません。並べ替えCNNsは視覚野から生物学的なインスピレーションを受けます。視覚野は、視野の特定領域に敏感な細胞の小さな領域を有する。このアイデアは、1962年のHubelとWieselの魅力的な実験（ビデオ）で拡張され、脳内のいくつかの個々の神経細胞が特定の向きのエッジの存在下でのみ反応（または発火）することを示した。例えば、いくつかのニューロンは垂直エッジにさらされたときに発火し、いくつかのニューロンは水平または斜めのエッジを示すときに発火する。 HubelとWieselは、これらのニューロンのすべてが円柱状の構造で編成されており、一緒に視覚的知覚を生み出すことができることを発見しました。特定のタスク（特定の特性を探している視覚野の神経細胞）を持つシステム内の特殊なコンポーネントのこの考え方は、マシンが同様に使用するものであり、CNNの基礎となります。

構造

詳細に戻る。 CNNが行うことの詳細な概要は、画像を取得し、一連の畳み込み、非線形、プーリング（ダウンサンプリング）、完全に接続されたレイヤーを渡し、出力を得ることです。先に述べたように、出力は単一のクラス、または画像を最もよく表すクラスの確率になります。今、難しい部分は、これらのレイヤのそれぞれが何をしているかを理解することです。だから、最も重要なものに入ってみましょう。

第1層 - 数学の部分

CNNの最初のレイヤーは、常に畳み込みレイヤーです。あなたが覚えていることを確認するための最初のことは、このconvへの入力（私はその略語をたくさん使っています）の層が何であるかです。前述のように、入力は32 x 32 x 3のピクセル値の配列です。今、コンバージョンレイヤーを説明する最善の方法は、画像の左上に輝く懐中電灯を想像することです。この懐中電灯が照らす光が5×5の領域をカバーしているとしましょう。そして今、この懐中電灯が入力画像のすべての領域を滑っていると想像してみましょう。機械学習の用語では、この懐中電灯はフィルター（またはニューロンまたはカーネルと呼ばれることもあります）と呼ばれ、輝く領域を受容場と呼びます。現在、このフィルタは数値の配列でもあります（数値は重みまたはパラメータと呼ばれます）。非常に重要な点は、このフィルタの深さは入力の深さと同じでなければならないということです（このことは数学が機能することを保証します）。したがって、このフィルタの寸法は5 x 5 x 3です。例えばフィルタが入っている最初の位置です。それは左上隅になります。フィルタが入力画像の周りを摺動または畳み込むと、フィルタの値に画像の元のピクセル値（別名計算要素の乗算）が乗算されます。これらの乗算はすべて合計されます（数学的に言えば、これは合計75回の乗算になります）。だからあなたは一つの番号を持っています。この番号は、フィルタが画像の左上にあるときを表しています。ここでは、入力ボリューム上のすべての場所についてこのプロセスを繰り返します。（次のステップは、フィルタを1単位だけ右に移動し、次に1ずつ右に移動するなど）。入力ボリューム上のすべてのユニークな場所によって番号が生成されます。フィルタをすべての場所にスライドさせた後で、残っているものが28×28×1の数の配列であることがわかります。これをアクティベーションマップまたはフィーチャマップと呼びます。あなたが28×28アレイを得る理由は、5×5フィルターが32×32入力画像に収まる784の異なる場所があることです。これらの784個の数字は28×28アレイにマッピングされています。

f:id:miyamotok0105:20170305124531p:plain

（クイックノート：上記の画像も含めて、マイケル・ニールセンの “Neural Networks and Deep Learning"という素晴らしい本の中から使用された画像もあります。

ここでは、1つではなく2つの5 x 5 x 3フィルタを使用するとします。それで、私たちの出力量は28 x 28 x 2になります。より多くのフィルタを使うことで、空間次元をより良く保存することができます。数学的には、これは畳み込みレイヤーで起こっていることです。

第1層 - 高レベルの視点

しかし、このコンボルーションが実際に高レベルからやっていることについて話しましょう。これらのフィルタのそれぞれは、フィーチャ識別子と考えることができる。私がフィーチャーを言うとき、私は直線エッジ、単純な色、および曲線のようなものについて話しています。すべての画像が互いに共通する最も簡単な特性について考えてみましょう。私たちの最初のフィルターが7 x 7 x 3で、カーブ検出器になるとしよう。（このセクションでは、フィルタが3単位の深さであり、簡単にするために、フィルタと画像の最上部の奥行きスライスのみを考慮していないことを無視してみましょう。）カーブ検出器として、フィルタはピクセル構造を持ちます。カーブの形をしている領域に沿って数値が高くなるようにしてください。 f:id:miyamotok0105:20170305124726p:plain

さて、これを数学的に可視化することに戻りましょう。このフィルタを入力ボリュームの左上隅に配置すると、その領域のフィルタとピクセル値の乗算が計算されます。次に、分類したい画像の例を見て、フィルタを左上隅に置いてみましょう。

f:id:miyamotok0105:20170305124809p:plain

我々がしなければならないのは、フィルタの値に画像の元のピクセル値を掛けることです。

f:id:miyamotok0105:20170305124818p:plain

基本的に、入力画像で、このフィルタが表す曲線にほぼ似た形があれば、合計されたすべての乗算は大きな値になります！フィルターを動かすとどうなるか見てみましょう。

f:id:miyamotok0105:20170305124843p:plain

値ははるかに低いです！これは、画像セクションにカーブ検出器のフィルタに応答したものがなかったためです。このconvレイヤの出力はアクティブ化マップです。したがって、1つのフィルタコンボリューションの単純なケース（フィルタがカーブ検出器である場合）では、アクティベーションマップには、画像内にカーブが存在する可能性の高い領域が表示されます。この例では、28 x 28 x 1アクティベーションマップの左上の値は6600になります。この高い値は、入力ボリュームにフィルタを有効にする何らかのカーブが存在する可能性が高いことを意味します。入力ボリューム内にフィルタがアクティブになった（またはより単純に、元の画像のその領域にカーブがない）何もないので、アクティブ化マップの右上の値は0になります。これは1つのフィルタにすぎないことに注意してください。これは、外向きと右向きにカーブするラインを検出するフィルタに過ぎません。左または真っ直ぐなエッジにカーブするラインのための他のフィルタを持つことができます。フィルタが多いほど、アクティベーションマップの深度が大きくなり、入力ボリュームについての情報が多くなります。

免責事項：このセクションで説明したフィルタは、畳み込み中に起こる数学を記述することを主な目的として単純化されています。下の図には、訓練されたネットワークの最初のコンバージョンレイヤのフィルタの実際の視覚化の例がいくつか表示されています。それにもかかわらず、主要な議論は変わらない。第1層のフィルタは、入力画像の周りを畳み込み、探している特定のフィーチャが入力ボリュームにあるときに、「アクティブにする」（または高い値を計算する）。

f:id:miyamotok0105:20170305124913p:plain

（クイックノート：上記の画像は、Andrej KarpathyとJustin Johnsonが教えてくれたスタンフォードのCS 231Nコースからのもので、CNNの理解を深める方にお勧めします）

ネットワークを通じてより深く進む

現在の伝統的な畳み込みニューラルネットワークアーキテクチャでは、これらのconvレイヤ間に散在する他のレイヤが存在します。私はそれらを読んで、その機能と効果を理解することに関心を持つ人を強く奨励しますが、一般的な意味では、ネットワークの頑健性を向上させ、過大適合をコントロールするのに役立つ非線形性と次元の保護を提供します。古典的なCNNアーキテクチャは、このようになります。 f:id:miyamotok0105:20170305124947p:plain

しかし、最後のレイヤーは重要なものですが、後で説明します。一歩踏み込んで、これまでに学んだことを見直しましょう。最初のコンバレイヤーのフィルターが検出するように設計されているものについて話しました。エッジやカーブなどの低レベルのフィーチャを検出します。想像されるように、画像が物体の一種であるかどうかを予測するためには、手や足や耳のようなより高いレベルの特徴を認識できるネットワークが必要です。最初のコンバージョンレイヤの後にネットワークの出力が何であるかを考えてみましょう。これは、28×28×3のボリューム（3つの5×5×3のフィルタを使用すると仮定）です。別のコンバレイヤを通過すると、最初のコンバレイヤの出力が2番目のコンバレイヤの入力になります。さて、これは視覚化するのが少し難しいです。最初のレイヤーについて話していたとき、入力は元の画像に過ぎませんでした。ただし、第2のconvレイヤーについては、入力は最初のレイヤーの結果であるアクティブ化マップです。したがって、入力の各レイヤーは、基本的に、ある低レベルのフィーチャが現れる元のイメージ内の位置を記述しています。今度は、その上に複数のフィルタを適用すると（第2のconvレイヤを通過させる）、出力はより高いレベルの機能を表すアクティベーションになります。これらのフィーチャのタイプは、半円（曲線と直線エッジの組み合わせ）または四角形（いくつかの直線エッジの組み合わせ）です。ネットワークを通ってより多くのコンバージョン層を通過すると、ますます複雑な機能を表すアクティベーションマップが得られます。ネットワークの終わりには、イメージに手書きがあるときにアクティブになるフィルタ、ピンクのオブジェクトなどが表示されたときにアクティブになるフィルタがあります。ConvNets、Matt Zeiler、Rob Fergusのフィルタを視覚化する方法について詳しくは、トピックを議論する優れた研究論文です。 Jason Yosinskiには、YouTube上で素晴らしいビジュアル表現を提供する動画もあります。注目すべきもう一つの興味深い点は、ネットワークに深く入り込むにつれて、フィルタは受容可能な領域が大きくなり始めたことになります。つまり、元の入力ボリュームの広い領域からの情報を考慮することができますより広い領域のピクセル空間に対してより応答性が高いということです）。

完全に接続されたレイヤー

これらの高レベルの機能を検出できるようになったので、ケーキのアイシングは、ネットワークの最後に完全に接続されたレイヤーを取り付けることです。このレイヤーは基本的に入力ボリューム（出力がconvまたはReLUまたはそれに先行するプールレイヤーのものであれ）を取り、N次元ベクトルを出力します。ここで、Nはプログラムが選択しなければならないクラスの数です。たとえば、桁の分類プログラムが必要な場合、10桁があるため、Nは10になります。このN次元ベクトル内の各数字は、あるクラスの確率を表す。例えば、数字分類プログラムの結果のベクトルが[0 .1 .1 .75 0 0 0 0 .05]である場合、これは画像が1である確率は10％であり、画像が1である確率は10％であり、画像は2、画像が3である確率は75％、画像が9である確率は5％です（サイドノート：出力を表現できる他の方法もありますが、私はsoftmaxアプローチを示しています））。この完全に接続されたレイヤの仕組みは、前のレイヤの出力（高レベルのフィーチャのアクティベーションマップを表す必要があります）を確認し、特定のクラスと最も関連性の高いフィーチャを特定することです。例えば、プログラムがいくつかの画像が犬であると予測している場合、それは足または4脚などの高レベル特徴を表す活性化マップにおいて高い値を有する。同様に、プログラムがいくつかの画像が鳥や羽などの高度な機能を表すアクティベーションマップには高い値が設定されます。基本的に、FCレイヤーは特定のクラスと最も強く相関する高レベルのフィーチャを調べ、特定のウェイトを持っているため、ウェイトと前のレイヤーの間の積を計算すると、異なるクラスの正しい確率が得られます。

f:id:miyamotok0105:20170305125019p:plain

トレーニング（AKA：この内容を実現するもの）

さて、これは私が意図的に言及していないニューラルネットワークの1つの側面であり、おそらく最も重要な部分です。あなたが読んでいる間に多くの質問があったかもしれません。最初のコンバレイヤのフィルタは、エッジとカーブを探すためにどのように知っていますか？完全に接続されたレイヤーは、どのようなアクティベーションマップを見るべきかを知っていますか？各レイヤーのフィルターはどのような値を持つのかを知っていますか？コンピュータがフィルタ値（または重み）を調整できる方法は、バックプロパゲーションと呼ばれるトレーニングプロセスです。

バックプロパゲーションに入る前に、最初に一歩前進して、ニューラルネットワークが働くために必要なものについて話をする必要があります。私たちすべてが生まれた瞬間、私たちの心は新鮮でした。私たちは、猫や犬や鳥が何であるかを知らなかった。同様の方法で、CNNが始まる前に、重みまたはフィルタ値がランダム化される。フィルタは、エッジとカーブを探すことを知らない。上位層のフィルタは、足やくちばしを探すことを知らない。しかし、年を重ねるにつれて、私たちの両親や先生たちは私たちにさまざまな絵やイメージを見せて、それに対応するラベルをくれました。イメージとラベルを与えられたこの考えは、CNNが習得するトレーニングプロセスです。あまりにもそれに入る前に、私たちは犬、猫、そして鳥の何千もの画像を持っている訓練セットを持っていると言いましょう。そして、それぞれの画像にはその絵が何であるかのラベルがあります。 Backpropに戻る。

したがって、バックプロパゲーションは、順方向パス、損失関数、逆方向パス、および重み更新の4つの異なるセクションに分けることができる。往路ではトレーニング画像を撮りますが、これは32 x 32 x 3の数値の配列であり、ネットワーク全体に渡って渡します。最初のトレーニング例では、すべての重みまたはフィルタ値がランダムに初期化されているため、出力は[.1 .1 .1 .1 .1 .1 .1 .1 .1]のようになります。特に任意の数に優先権を与えない出力。現在の重みを持つネットワークは、それらの低レベルの特徴を探すことができないか、または分類が何であるかについて合理的な結論を出すことができない。これはバックプロパゲーションの損失機能部分に行きます。私たちが今使っているのは、トレーニングデータです。このデータには、画像とラベルの両方があります。たとえば、入力された最初のトレーニング画像が3であったとしましょう。画像のラベルは[0 0 0 1 0 0 0 0 0 0]です。損失関数は多くの異なる方法で定義できますが、共通のものはMSE（平均2乗誤差）です。これは1/2倍（実際の予測値）の2乗です。

f:id:miyamotok0105:20170305125044p:plain

変数Lがその値と等しいとしましょう。あなたが想像しているように、トレーニング画像の最初のカップルの損失は非常に高くなります。今、直感的に考えてみましょう。私たちは、予測ラベル（ConvNetの出力）がトレーニングラベルと同じになるようにしたいと考えています（これはネットワークが予測されたことを意味します）。そこに到達するためには、損失の量を最小限に抑えたい我々は持っています。これを微積分の最適化問題として視覚化すると、ネットワークの損失（またはエラー）に最も直接的に寄与した入力（この場合は重み）を見つける必要があります。 f:id:miyamotok0105:20170305125106p:plain

これは、dL / dWの数学的に等価であり、Wは特定の層での重みである。さて、私たちがやりたいことは、どのウェイトが損失に最も寄与しているかを判断し、損失を減らすようにウェイトを調整する方法を見つけることです。この微係数を計算したら、最後に重み更新であるステップに進みます。これは、フィルタのすべてのウェイトを取得し、グラディエントの方向に変化するように更新します。

f:id:miyamotok0105:20170305125136p:plain 学習率は、プログラマによって選択されるパラメータである。学習率が高いということは、体重の更新においてより大きな措置が取られ、したがって、モデルが最適な体重の集合に収束するのにかかる時間が短くてもよいことを意味する。しかし、あまりにも高い学習率は、大きすぎて最適点に到達するのに十分な正確さではないジャンプをもたらす可能性があります。

フォワードパス、ロス関数、バックワードパス、およびパラメータ更新のプロセスは、一般に1エポックと呼ばれます。プログラムは、トレーニング画像の各セット（一般的にバッチと呼ばれます）ごとに一定数のエポックでこのプロセスを繰り返します。最後のトレーニングの例でパラメータの更新が完了したら、ネットワークのトレーニングを十分に行い、レイヤの重みが正しく調整されるようにしてください。

テスト

最後に、私たちのCNNが動作しているかどうかを確認するために、画像とラベルのセットが異なります（トレーニングとテストの間に2倍にすることはできません）。出力を地上真理と比較し、ネットワークが機能しているかどうかを確認します。

企業がCNNを使用する仕組み

データ、データ、データこの魔法の4文字の単語をたくさん持っている企業は、競争の残りの部分に固有の利点を持っているものです。ネットワークに与えることができる訓練データが多くなればなるほど、練習反復の回数が増え、ウェイト更新が多くなり、ネットワークに合わせて調整するほうが生産に向かうことになります。 Facebook（およびInstagram）は現在所有している10億人のユーザーのすべての写真を使用でき、Pinterestはそのサイトにある500億ピンの情報を使用でき、Googleは検索データを使用でき、Amazonは数百万の製品毎日買っています。そして今、彼らはそれをどのように使用するのかを知っています。

免責事項

この投稿はCNNを理解するのに適しているはずですが、決して包括的な概要ではありません。このポストで議論されていないことには、フィルタのサイズ、ストライド、パディングなどのネットワークのハイパーパラメータと同様に、非線形およびプーリング層が含まれます。ネットワークアーキテクチャ、バッチ正規化、消失勾配、ドロップアウト、初期化手法、非凸最適化、偏り、損失関数の選択、データ増大、正則化法、計算上の考慮、逆伝播の修正などのトピックも議論されていませんでした。

参考

私は現在UCLAで学んでいる2年生の学部生です。私はコンピュータサイエンスを専攻しながら、バイオインフォマティクスでマイナーを追求しています。私はボストン大学で2件、ワシントンD.C.にある米国海軍研究所で2件の研究インターンシップを受けています。私はコンピュータサイエンスと機械学習に関する知識をヘルスケア分野に適用することに情熱を持っています。そこで私たちは本当に医者を助け、患者を世話するためのより良いソリューションを設計することができます。私が行ったサイド・プロジェクト（ニューラル・ネット、強化学習、Kaggle stuff、スポーツなど）については、私のgithubをチェックしてください。 2017年の夏に積極的にインターンシップを探していますが、コラボレーションの余地があると思ったら私に連絡してください。

米国海軍研究所でのインターンってどんなんなんだろう。。。

https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner’s-Guide-To-Understanding-Convolutional-Neural-Networks/

2017-03-16

Space Apps 2016チャレンジリソース

チャレンジ

人工知能は人の仕事を奪うが、新しい仕事を作り出す方が多いはず。人は宇宙へ行くのだ。

＃Space Apps 2016チャレンジリソース

以下のリソースを使用して、各Space Appsの課題にソリューションを補完してください。各課題は、技術、航空宇宙、宇宙ステーション、太陽系、地球、または火星への旅の6つのカテゴリのいずれかに表示されます。説明を明確にするために、Space Appsチャレンジ・ウェブサイトのチャレンジ・オーナーに連絡してください。これらのリソースは、https://api.nasa.gov/およびhttps://data.nasa.gov/に掲載されているNASAの公に利用可能なデータセット、API、ビジュアライゼーションのカタログにも掲載されています。 https://code.nasa.gov/#/およびhttps://software.nasa.gov/advancedsearchの検索も検討してください。

＃＃技術

ジェットセット火星

火星のファクトシート：http://nssdc.gsfc.nasa.gov/planetary/factsheet/marsfact.html 火星で地上を推進するための源：http://www.marssociety.org/home/about/mars-direct 火星に関する詳細：http://quest.nasa.gov/aero/planetary/mars.html ジェットパック！：https://en.wikipedia.org/wiki/Jet_pack 火星大気モデル（メートル単位）：https://www.grc.nasa.gov/www/k-12/airplane/atmosmrm.html 火星の飛行機：http://www.nasa.gov/centers/armstrong/features/mars_airplane.html *火星気候データベースプロジェクト：http://www-mars.lmd.jussieu.fr/ * Webインターフェイスがデータベースに提供されます。フルバージョンのデータベースをダウンロードする場合は、Webリンクを使用してリクエストしてください。 Space Appsイベントの前でこれをやりなおす！

AERONAUTICS

私のドローンをクラッシュさせない

USGS、3Dマップ：http://nationalmap.gov/ *航空天気データ：http://www.aviationweather.gov
National Weatherサービス：http://www.weather.gov
NOAA：http://www.noaa.gov/weather
FAAはUASの詳細情報：www.faa.gov/uas フライゾーンを含まないプライベートパイロットのFAAマップ：http://tfr.faa.gov/tfr_map_ims/html/index.html *その他のリソース：
Google Earthマップ *携帯端末のGPSロケータ
www.skyvector.com *無人救急車の国家空域への統合の概念のための明確な違反容積https://software.nasa.gov/software/LAR-18464-1
FAAデータ製品：http://www.faa.gov/nextgen/programs/swim/products/

クラウドまたはコントラスト

飛行機の教育：http://science-edu.larc.nasa.gov/contrail-edu/ * USGS、3Dマップ：http://nationalmap.gov/ 飛行機の進化：http://earthobservatory.nasa.gov/IOTD/view.php?id=78154&src=eoa-iotd * FAA航空交通管制システム指令システム：http://www.fly.faa.gov/Products/acc_AIS_warn.html その他のリソース： 主要航空会社のフライト状況またはフライトトラッキング情報：http://services.faa.gov/ * Contrailツール：http://cloudsgate2.larc.nasa.gov/cgi-bin/site/website?c=contrails * GLOBEの雲と運命のデータ：http://vis.globe.gov/clouds * FAAデータ製品：http://www.faa.gov/nextgen/programs/swim/products/

テイクオフのためにクリア

航空デジタルデータサービス（ADDS）：http://www.aviationweather.gov/adds/ バーチャルスカイ：http://virtualskies.arc.nasa.gov/weather/index.html 動的天気ルートツール：http://technology.nasa.gov/patent/TOP2-168 * FAA安全に関する天気予報：https://www.faasafety.gov/search/default.aspx?keywords=weather&submit=Search 航空天気研究プログラム：http://www.faa.gov/nextgen/programs/weather/awrp/ 気象と航空：天気は空港や航空の安全や運行にどのように影響し、気象関連の影響を管理するためにFAAはどのように働いていますか？：climate.dot.gov/documents/workshop1002/kulesa.pdf * NOAA天気衛星の空を見て：http://www.jpss.noaa.gov/news-65.html ジョイントポーラー衛星システム：http://www.jpss.noaa.gov/program.html ビジュアルフライトのルール： * https://www.faa.gov/air_traffic/flight_info/aeronav/productcatalog/vfrcharts/ * https://www.faasafety.gov/files/gslac/courses/content/25/185/VFR%20Weather%20Minimums.pdf * http://www.faa.gov/air_traffic/flight_info/aeronav/digital_products/vfr/ 計測器のフライトルール：https://www.faa.gov/air_traffic/flight_info/aeronav/productcatalog/ifrcharts/ * NOAAの気象データセット： * http://www.ncdc.noaa.gov/data-access * http://www.ncdc.noaa.gov/cdo-web/webservices/ * http://graphical.weather.gov/xml/ * FAAデータ製品： http://www.faa.gov/nextgen/programs/swim/products/ http://services.faa.gov/ *カテゴリI / II / III ILS情報https://www.faa.gov/about/office_org/headquarters_offices/avs/offices/afs/afs400/afs410/status_lists/

ローブーム

NASA ソニックブームデータ：https://data.nasa.gov/docs/aeronautics/lowboom.html
NASA Armstrongファクトシート：Sonic Booms https://www.nasa.gov/centers/armstrong/news/FactSheets/FS-016-DFRC.html
http://www.nasa.gov/aero/sonic_boom_takes_shape.html 新しいプローブは、ソニックブームの調査を改善することができたhttps://www.nasa.gov/centers/armstrong/features/eagle_aero_probe.html?linkId=22201577 超音速衝撃波のStark Beauty http://www.nasa.gov/image-feature/stark-beauty-of-supersonic-shock-waves/ *インタラクティブディスプレイは、パイロットにリアルタイムソニックブーム情報を提供します。http://www.nasa.gov/offices/ipp/centers/dfrc/technology/DRC-008-001-RT-SonicBoom.html
CISBoomDA：実時間ソニックブームマッピングを備えた対話型ディスプレイを提供するhttps://www.youtube.com/watch?v=OgfcbzxlS_Q

＃＃宇宙ステーション

打ち上げ：グローバルな経験

ケネディ宇宙センター審査＆賞：http://spaceappsksc.tumblr.com/post/142877335729/ksc-challenges-judging-prize * GoogleハングアウトでのGoogleハングアウトの開始については、https://www.youtube.com/watch?v=Y_eXP7X__M4&index=3&list=PLnD73N1pmY1RPuvMggUOB5rMj8ynC_j0Dをご覧ください金曜日のKSC Googleハングアウト（開始：グローバルエクスペリエンスセクション）：https://youtu.be/k4tXQ_qpls4?list=PLnD73N1pmY1RPuvMggUOB5rMj8ynC_j0D&t=1674 打ち上げ * NASA Launch Services Program（LSP）ウェブサイト：http://www.nasa.gov/centers/kennedy/launchingrockets/ * LSPパンフレット：http://www.nasa.gov/centers/kennedy/pdf/678112main_LSP Brochure.pdf * NASAの打ち上げサービスプログラムNASAの事実：http://www-pao.ksc.nasa.gov/kscpao/nasafact/pdf/LSP2005.pdf * NASA LSP Launch Archive：http://www.nasa.gov/centers/kennedy/launchingrockets/archives/elv_archive-index.html * LSPロケット（カウントダウン101を含む）：http://www.nasa.gov/centers/kennedy/launchingrockets/vehicles.html * NASA ケネディ YouTubeチャンネルのLSPプレイリスト：http://www.nasa.gov/centers/kennedy/launchingrockets/archives/elv_archive-index.html * 2009年6月以降、ほとんどのローンチには、打ち上げディレクターのインタビュー、チームによる投票（すなわちGO）の開始、離陸、その他多くの機能があります * NASA宇宙発射システム（SLS）：https://www.nasa.gov/exploration/systems/sls/multimedia/gallery/SLS_Concepts.html * NASAローンチブログ：http://blogs.nasa.gov/ ペガサスXLのNuSTAR：http://www.nasa.gov/mission_pages/nustar/launch/launch_blog.html デルタIIの軌道上の炭素天文台-2（OCO-2）：https://blogs.nasa.gov/oco-2/ Atlas Vの磁気圏マルチスケール（MMS）：https://blogs.nasa.gov/mms/ * Falcon 9のJason-3：http://blogs.nasa.gov/Jason-3/ * Ares I-X Launch Blog：http://www.nasa.gov/mission_pages/constellation/ares/flighttests/aresIx/launch_blog.html オーディオ * NASAの騒音：http://www.nasa.gov/connect/sounds/index.html * NASA Soundcloud：https://soundcloud.com/nasa/sets * NASA Audio Collection：https://archive.org/details/nasaaudiocollection *科学的視覚化スタジオのNASA ランチアニメーション：https://svs.gsfc.nasa.gov/cgi-bin/search.cgi?value=launch&expanded=filters

Rock-IT空間のファッションとデザイン

高度なエレクトロニクスは、チップの密度に起因するスペースの問題です。小さな電子部品の回路が多くなればなるほど、宇宙放射線への感受性は大きくなる。 NASAは、放射能の影響を受けていない「赤い硬い」プロセサーを探して、宇宙で使える技術をクールな地球技術と同程度にすることを目指しています。ニューズウィークの記事「未来の宇宙飛行服紹介」：http://www.newsweek.com/2015/07/17/introducing-astronaut-clothing-future-349955.html

Wearablesは、国際宇宙ステーションに搭乗している宇宙飛行士が心拍数や呼吸パターンを監視し、心臓活動の変化が宇宙飛行士の睡眠不足に関係しているかどうかを調べるのに役立ちます。テキスタイルには、呼吸、身体の加速、皮膚の温度など、複数の調査の視点を提供する技術が盛り込まれています。
http://www.nasa.gov/mission_pages/station/research/experiments/1279.html
http://spaceflight101.com/iss/wearable-monitoring/
NASAはウェアラブルを使用して軌道上の個人CO2を監視しています。過度のCO2は、頭痛、めまい、血圧上昇を引き起こす。ステーションでスクラビング技術を使用しても、宇宙環境でCO2のポケットが検出されなくなる可能性があります。個人用CO2モニターは宇宙飛行士のすぐ近くにあります。
http://www.nasa.gov/mission_pages/station/research/experiments/2101.html
GeneLab http://genelab.nasa.gov 行動追跡ソフトウェアの拡張と統合のフィードバックhttps://data.nasa.gov/external-dataset?datasetId=bcb2-aw9v 血液分析物の飛行中の非侵襲的な検知https://data.nasa.gov/external-dataset?datasetId=iv9x-kdnk *宇宙機環境における微生物のモニタリングhttps://data.nasa.gov/external-dataset?datasetId=4xp2-q25f
ESPRIT：エクササイズセンシングと姿勢回復の推論https://data.nasa.gov/external-dataset?datasetId=kbtw-jrma 着用可能なビートで血圧モニターを倒すhttps://data.nasa.gov/external-dataset?datasetId=gsk3-5bn7 多重血液分析のためのナノスケール試験ストリップhttps://data.nasa.gov/external-dataset?datasetId=6ame-gjy6
In Situ Aerosol Detector https://data.nasa.gov/external-dataset?datasetId=m59n-zi79 *免疫機能の現場モニタリングhttps://data.nasa.gov/external-dataset?datasetId=iv9x-kdnk
Livingstone2（最低限の人間の監督で人生支援システムを堅牢に運用するためのAIソフトウェアシステム：https://data.nasa.gov/external-dataset?datasetId=27r9-hj26 人間の健康に対する環境ストレスを軽減し、生態系の活力を促進する環境パフォーマンス指標（EPI）：https://data.nasa.gov/external-dataset?datasetId=6ub7-u9fa 気候変動に対する脆弱性のグローバルな分布の総合評価：https://data.nasa.gov/external-dataset?datasetId=6ub7-u9fa

Astrocize

燃え尽きる宇宙飛行士ピー - 毎日スマート149：https://www.youtube.com/watch?v=05oOst9kZXQ&t=2m 高度耐性運動装置（ARED）：http://www.nasa.gov/mission_pages/station/research/experiments/1001.html 結合された操作負荷ベアリング外部抵抗トレッドミル（COLBERT）：http://www.nasa.gov/mission_pages/station/research/experiments/765.html 防振トレッドミルに関するウィキペディアの記事：https://en.wikipedia.org/wiki/Treadmill_with_Vibration_Isolation_Stabilization * ISSでの作業中のビデオ：https://www.youtube.com/watch?v=irCmnn5vIRQ&feature=share&list=PLiuUQ9asub3S34pyIicCQgHyFUErfpxSz エクササイズの宇宙ビデオ：http://www.nasa.gov/audience/foreducators/stem-on-station/ditl_exercising アポロ宇宙飛行士のストレステスト前後の物理的応答：https://lsda.jsc.nasa.gov/lsda_data/dataset_inv_data/JMAPAP012_732.xls 先進的な抵抗運動装置：http://www.nasa.gov/mission_pages/station/research/experiments/1001.html

バーチャルオーロラ

データセット： * http://eol.jsc.nasa.gov/ * http://eol.jsc.nasa.gov/SearchPhotos/ShowQueryResults-CoolIris.pl?results=Latest_ISS_Imagery ツール： * http://eol.jsc.nasa.gov/Tools/ アルゴリズム： ステラリウム * http://www.cosmos.esa.int/web/arrrgh * https://github.com/esa/auromat * http://pythonhosted.org/auromat/userguide/index.html *オーロラに関する一般的な背景： * http://www.nasa.gov/mission_pages/sunearth/news/gallery/aurora-index.html#.VxaoSfkrJD8

＃＃太陽系

月にそれを予約する

インタラクティブな月へのガイドhttp://lunarexploration.esa.int * Apollo Image Atlas：https://data.nasa.gov/external-dataset?datasetId=bdjz-sjmr * NASAのギャラリー：https://www.nasa.gov/multimedia/imagegallery/index.html ムーンビュー（月オービター画像回復プロジェクト）：http://www.moonviews.com/archives.html * MoonやApolloのようなGoogleのキーワードを使用すると、さらに多くのリソースが見つかります！ *多くのサイトにFlickr、Tumblr、Instagram、Pinterestがあります。ギャラリーはアプリデベロッパーによって作成され、ユーザーによって追加されます。

地球オブジェクト機械学習の近く

地球に近いアプローチのリスト：http://www.minorplanetcenter.net/iau/lists/CloseApp.html * JPL小型データベース：http://ssd.jpl.nasa.gov/ sbdb.cgi 軌道要素 軌道図 物理的パラメータ 発見の状況 ボールの衝撃/ボールと火球の報告 * https://data.nasa.gov/Space-Science/Fireball-And-Bolide-Reports/mc52-syum * http://neo.jpl.nasa.gov/fireball * The Meteoritical Societyのこの包括的なデータセットには、既知の隕石の着陸に関する情報が含まれています：https://data.nasa.gov/Space-Science/Meteorite-Landings/gh4g-9sfh * NEOWISE NEA / COMETディスカバリー：http://neo.jpl.nasa.gov/programs/neowise.html 地球オブジェクト（NeoWs）APIの近く - NeoWsを使用すると、ユーザは地球への最も近い接近日に基づいて小惑星を検索し、NASA JPLの小さなボディIDで特定の小惑星を検索することができます。HED Compendium（VESTAの隕石）http：//キュレーター.jsc.nasa.gov / antmet / hed / hed_compendium.cfm 月偵察機（月のクレーター）：http://lunar.gsfc.nasa.gov/ * MPC軌道（MPCORB）データベースには、マイナープラネットサーキット、マイナープラネット軌道補足およびマイナープラネット電子サーキュラーで公開されているマイナープラネットの軌道要素が含まれています。http://www.minorplanetcenter.net/iau/MPCORB html * PHA軌道（潜在的に危険な小惑星）：http://neo.jpl.nasa.gov/orbits/ * Heliocentric Comets近地球彗星 - 軌道要素：https://data.nasa.gov/Space-Science/Near-Earth-Comets-Orbital-Elements/b67r-rgxc すべてのNEOとNEAのリポジトリ：http://www.minorplanetcenter.net ライトカーブデータベース：http://minorplanetcenter.net/light_curve。レーダーとライトカーブの反転からの小惑星の3Dモデル：http://space.frieger.com/asteroids/ * MPC Webサービス：軌道といくつかの物理パラメータ：http://minorplanetcenter.net/web_service 潜在的に危険な小惑星：http://www.minorplanetcenter.net/iau/MPCORB/PHA.txt マイナープラネットセンターから入手可能なデータ：http://minorplanetcenter.net/data/ * NEAと太陽系外物体の最後の観測日：http://www.minorplanetcenter.net/iau/MPC_Documentation.html アテン・マイナー・プラネットのリスト（名称別）：http://www.minorplanetcenter.net/iau/lists/Atens.html アポロマイナープラネット一覧（別称）：http://www.minorplanetcenter.net/iau/lists/Apollos.html アモールマイナープラネット一覧（名称別）：http://www.minorplanetcenter.net/iau/lists/Amors.html *珍しいマイナー惑星の最後の観測日：http://www.minorplanetcenter.net/iau/lists/LastUnusual.html

小惑星鉱業

近地球のオブジェクト機械学習の上のリンクを参照 * * OSIRIS-REXミッション： * http://www.asteroidmission.org/mission/#explore-instruments * http://www.nasa.gov/content/goddard/new-nasa-mission-to-help-us-learn-how-to-mine-asteroids/ ガラスビーズ、隕石の破片は小惑星に働く秘密を保持する：http://www.nasa.gov/feature/glass-beads-meteorite-fragments-hold-secret-to-working-on-asteroids タスクを達成するためにどのようなツールや車両を使用するかを検討してください。 * NEAスカウトミッション：http://www.jpl.nasa.gov/cubesat/missions/neascout.php * WRANGLER：http://www.nasa.gov/content/wrangler-capture-and-de-spin-of-asteroids-and-space-debris/#.VxFE7fkrLmE 小惑星の鉱山方法http://www.popularmechanics.com/space/a7942/how-to-mine-an-asteroid-11644811/ * NASA JPL Roobotic Microspines https://www.youtube.com/watch?v=0KUdyBm6bcY * Resourece Prospectorミッション：https://www.nasa.gov/resource-prospector/

ヴェスタが明らかに

ベスタトレックウェブポータル：http://vestatrek.jpl.nasa.gov * Chuck Clarkのウェブサイト：多くのアプリケーションと参考資料の例：http://rightbasicbuilding.com/ * E-Book：Clark and Clark、2013年：世界と宇宙のプロセスを明らかにするための一定スケールの自然境界マッピング、https://goo.gl/sqp0Bc * vestaのデジタルテレインモデル： * http://astrogeology.usgs.gov/search/map/Vesta/Dawn/DLR/HAMO/Vesta_Dawn_HAMO_DTM_DLR_Global_48ppd * http://dawndata.igpp.ucla.edu/tw.jsp?section=geometry/DTMs デジタル標高モデルの変換に関するチュートリアル：http://webgis.wr.usgs.gov/pigwad/tutorials/arcgis10.Basic_converting_data.pdf

NASAの火星とベスタのデータを使ったオープンな世代

*データセット製品は、[api.nasa.gov]（https://api.nasa.gov/api.html#trek）のWMTSベースのAPIを介してオンラインで入手できます。 * [Galacticraft]（https://github.com/micdoodle8/Galacticraft）やバニラ[Minecraft]（https://minecraft.net/download）などの既存のMinecraftのカスタマイズを活用し、プラグインまたはmodとして実装します。 * http://marstrek.jpl.nasa.gov/(http://marstrek.jpl.nasa.gov/）や[http：//vestatrek.jpl.nasa]のような火星とVestaのデータを使ってアプリを表示する。 gov /]（http://vestatrek.jpl.nasa.gov/） * vestaのデジタルテレインモデル： * http://astrogeology.usgs.gov/search/map/Vesta/Dawn/DLR/HAMO/Vesta_Dawn_HAMO_DTM_DLR_Global_48ppd * http://dawndata.igpp.ucla.edu/tw.jsp?section=geometry/DTMs * DEMのグレースケール - 火星のオービターAltimiter：高さについては、 “DEM Grayscale - Mars Orbiter Laser Altimeter"を使用することができます。データは8ビットのグレースケールで、高さの値を見つけるためにスケールとオフセットを適用できます。スニペットはこちらhttps://docs.google.com/document/d/1kqjl981WWxWZPkeopgodUFEbDePRlV7GEsNtMfeXKP8/edit?usp=sharing

＃＃地球

Google MapsでNASA Earthデータを使用する場合は、GIBS（Global Imagery Browse Services）を使用することをおすすめします。 https://wiki.earthdata.nasa.gov/display/GIBS/

GIBSをGoogleマップやその他のマッピングライブラリで使用する方法のサンプルコードがいくつかあります。 https://github.com/nasa-gibs/gibs-web-examples

HDFはより一般的なフォーマットの1つですが、データ形式はすべてのNASA Earthデータ製品で常に同じではありません。これらのリストはhttps://earthdata.nasa.gov/user-resources/standards-and-referencesでご覧いただけます。ここでデータツールのリストを見ることができます： https://earthdata.nasa.gov/earth-observation-data/tools

データ値をデータベースに挿入しようとしている場合は、通常、レベル3のデータプロダクトがグリッド化されており、グローバルに利用できるようにすることをお勧めします。データ処理レベルの説明については、ここを参照してください。 http://science.nasa.gov/earth-science/earth-science-data/data-processing-levels-for-eosdis-data-products/

海氷アプリ

Sea Ice API https://www.asf.alaska.edu/sea-ice/
NASAグローバルイメージブラウズサービス（GIBS）：https://earthdata.nasa.gov/about/science-system-description/eosdis-components/global-imagery-browse-services-gibs
GINA Puffin Feeder：http://feeder.gina.alaska.edu/
GitHubのGina Puffin FeederソフトウェアのAndroid実装：https://github.com/hank/gina-puffinfeeder 全国雪氷データセンター（NSIDC）：http://nsidc.org/ アラスカSAR施設（ASF）：https://www.asf.alaska.edu/
GitHubのOnEarthソフトウェア：https://github.com/nasa-gibs/onearth
https://code.nasa.gov/#/ *センティナルデータ：https://sentinel.esa.int/web/sentinel/sentinel-data-access

ジオタギングスペースと航空

eMobile Pastoralism

データセット：地球観測データ * NASAグローバルイメージブラウズサービス（GIBS）：https://earthdata.nasa.gov/about/science-system-description/eosdis-components/global-imagery-browse-services-gibs * EARTHDATA：https://earthdata.nasa.gov/ グローバル現象に関する詳細情報：http://www.ifad.org/lrkm/factsheet/women_pastoralism.pdf * https://code.nasa.gov/#/ * GitHubのOnEarthソフトウェア：https://github.com/nasa-gibs/onearth

Aircheck

NASAグローバルイメージブラウズサービス（GIBS）：https://earthdata.nasa.gov/about/science-system-description/eosdis-components/global-imagery-browse-services-gibs
Worldviewとは何ですか：https://earthdata.nasa.gov/worldview
EOSDISは何ですか：https://earthdata.nasa.gov/about
Worldviewにアクセスするには、ここをクリックしてください：https://worldview.earthdata.nasa.gov/最初の訪問では、ツールを使用してさまざまな指標を検索する方法の「ツアー」が提供されます。そうでない場合は、画面の右上にある「i」アイコンをクリックしてツアーを楽しむことができます。ユーザーは、関心のある測定値の「レイヤー」を追加し、必要に応じて時間的および空間的な座標を狭めることができます。
NOAA CDO-Webデータセット：http://www.ncdc.noaa.gov/cdo-web/datasets 天気：http://openweathermap.org/datasource 米国気象データ：NOAA http://www.noaa.gov/ カナダ気象データ：http://www.weatheroffice.gc.ca 欧州中規模気象予報センター（ECMWF）http://www.ecmwf.int/ 気象庁 http://www.jma.go.jp 空港からのMETARデータhttp://en.wikipedia.org/wiki/METAR
APRSネットワークhttp://www.aprs-is.net/
OpenWeatherMap：http://openweathermap.org/stations
https://code.nasa.gov/#/
GitHubのOnEarthソフトウェア：https://github.com/nasa-gibs/onearth *大気環境に関連するデータセットの背景： https://earthdata.nasa.gov/earth-observation-data/near-real-time/hazards-and-disasters/air-quality

アースライブ

NASAのEONET（Earth Observatory自然イベントトラッカー）：http://eonet.sci.gsfc.nasa.gov/
NASAグローバルイメージブラウズサービス（GIBS）：https://earthdata.nasa.gov/about/science-system-description/eosdis-components/global-imagery-browse-services-gibs *全球降水量データ：http://pmm.nasa.gov/data-access/downloads/gpm
ClimateSERV：http://catalogue.servirglobal.net/Product?product_id=138および - http://climateserv.nsstc.nasa.gov
SERVIR：https://servirglobal.net
ArcGIS Online：http://www.esri.com/software/arcgis/arcgisonline
Google Earthギャラリー
https://code.nasa.gov/#/

JOURNEY TO MARS

スペースレクリエーション

NASA Orion：https://www.nasa.gov/exploration/systems/orion/＆https://www.nasa.gov/pdf/166914main_FS_Orion508c.pdf 宇宙ステーションについて：http://www.nasa.gov/mission_pages/station/main/onthestation/facts_and_figures.html 宇宙飛行士プログラムのようなNASAの電車：http://www.nasa.gov/audience/foreducators/trainlikeanastronaut/home/ 宇宙でのエクササイズ：http://www.nasa.gov/audience/foreducators/stem-on-station/ditl_exercising スペースに合わせる：http://www.nasa.gov/audience/formedia/presskits/fit_for_space.html 宇宙飛行士が宇宙ステーションでワールドカップを見る：http://www.nasa.gov/content/astronauts-to-watch-world-cup-aboard-space-station NASAテクニカルレポートサーバ（NTRS）のエクササイズ+微小重力：http://naca.larc.nasa.gov/search.jsp?N=0&Ntk=All&Ntt=exercise%20microgravity&Ntx=mode%20matchall 高度なエクササイズのコンセプト：http://naca.larc.nasa.gov/search.jsp?R=20150010179&qs=N%3D4294950110%2B4294918663 結合された操作負荷ベアリング外部抵抗トレッドミル（COLBERT）：http://www.nasa.gov/mission_pages/station/research/experiments/765.html 暫定抵抗運動装置（IRED）：http://www.nasa.gov/mission_pages/station/research/experiments/1128.html *高度耐性運動装置（ARED）：http://www.nasa.gov/mission_pages/station/research/experiments/1001.html
Spaced Outスポーツデザインの挑戦：http://education.ssc.nasa.gov/spacedoutsports.asp *スペースニュースの記事「FAA諮問グループはムーンビレッジの概念を支持する」：http://spacenews.com/faa-advisory-group-endorses-moon-village-concept/
Tech Timesの記事「ESA、宇宙飛行士の3Dプリントムーンビレッジを構築する」：http://www.techtimes.com/articles/121906/20160107/esa-to-build-3d-printed-moon-village-for-astronauts- 〜2030.htm
Google Cardboard：https://developers.google.com/cardboard/

SimSpace

NASAレポート：ラジオメトリックおよび慣性測定を使用した月面ナビゲーションへのカルマンアプローチ：http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20090027870.pdf
Lunar oribt perturbationについてのWikipedia記事：https://en.wikipedia.org/wiki/Lunar_orbit#Perturbation_effects
Herschel Space ObservatoryについてのWikipediaの記事：https://en.wikipedia.org/wiki/Herschel_Space_Observatory

スペースルート66

ケネディ宇宙センター審査＆賞：http://spaceappsksc.tumblr.com/post/142877335729/ksc-challenges-judging-prize 金曜日のKSC Googleハングアウト：https://youtu.be/k4tXQ_qpls4?list=PLnD73N1pmY1RPuvMggUOB5rMj8ynC_j0D&t=966 センターの計画と開発YouTubeプレイリスト：https://www.youtube.com/watch?v=FTytXb0R0Yk&index=10&list=PLStC43yAV6zQRcOG0XlrYYEBuvhESitIq * KSCセンター計画開発室：http://kscpartnerships.ksc.nasa.gov/ * KSCマスタープラン：http://masterplan.ksc.nasa.gov/ * KSCリソース百科事典：http://tdglobal.ksc.nasa.gov/servlet/sm.web.Fetch/KHB-1863?rhid=1000&did=35173&type=released&rev=$latest 探査公園：http://www.explorationpark.com/ ブレバード郡：http://www.brevardcounty.us/ * KSCビジターセンター：www.kennedyspacecenter.com/ * 1回使用のスペースポートを複数回使用に変える：http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20120001311_2012000971.pdf * NASAの技術レポート - 検索Spaceport +ケネディ宇宙センター：http://ntrs.nasa.gov/search.jsp?N=4294932186&Ntk=Title&Ntt=spaceport&Ntx=mode ムーンポート：アポロ発射施設と運営の歴史：http://www.hq.nasa.gov/office/pao/History/SP-4204/cover.html 国際宇宙大学オアシス：http://isulibrary.isunet.edu/opac/index.php?lvl=notice_display&id=8415 大西洋中部地域宇宙ステーション（MARS）：www.vaspace.org * Wallopsフライトファシリティ：https://www.nasa.gov/centers/wallops/home * Spaceport America：http://spaceportamerica.com/ ヨーロッパのスペースポート：http://www.esa.int/Our_Activities/Launchers/Europe_s_Spaceport/Europe_s_Spaceport2 種子島宇宙センター：http://global.jaxa.jp/about/centers/tnsc/ *バイコヌール宇宙飛行士：http://www.kosmotras.ru/en/bayconur/およびhttp://www.nasa.gov/mission_pages/station/structure/elements/baikonur.html

参考

https://2016.spaceappschallenge.org/

2017-03-15

コンバージョン率の最適化進化的計算による(Conversion Rate Optimization through Evolutionary Computation)

論文

ABテストの自動化。当然考えつく内容。

変換の最適化とは、登録者の購入など、できるだけ多くのユーザーが目的のアクションを実行できるようにWebインターフェイスを設計することです。このような設計は、通常、手作業で行われ、A / Bテストを通じて一度に1つのテストを行うか、または多変量テストを通して限られた数の組み合わせで行われ、膨大な設計スペースでわずかな数のデザインしか評価できません。は、進化的な最適化を使用してective webinterfaceデザインを作成する自動変換最適化システムSentient Ascendを採用しています。 Ascendは、他のものを識別するための設計要素間の相互作用を発見して利用することを可能にします。さらに、設計候補の評価は、並行してオンラインで、すなわち、多数の実際のユーザがシステムと対話することによって行われる。リード生成サイトlearnhotobecome.orgのケーススタディは、人間の設計を超えて改善が可能であること（つまり43％以上）が可能であることを示しています。したがって、Ascendは、大規模な並列インタラクティブな進化に基づいて大規模な多変量変換の最適化に近づくと見ることができます。

キーワード

コンバージョン最適化、電子商取引、インタラクティブな進化、オンライン進化、デザイン

1 はじめに

電子商取引では、カジュアルなブラウザから有料の顧客にできるだけ多くのユーザを変換するウェブインタフェース（すなわちウェブページおよびインタラクション）を設計することが重要な目標である[1、11]。シンプルさと一貫性を含むいくつかのよく知られたデザイン原則がありますが、ページの要素間の予期しない相互作用もあります。見出し、画像、賛辞などの同じ要素は、1つのコンテキストではうまく動作するが、他のものではうまく動作しない可能性があります。結果を予測するのは難しく、特定のページを改善する方法を決定することも難しくなります。コンバージョン率の最適化やコンバージョンサイエンスと呼ばれるIT分野全体がこのエリアで浮上しています。「エバンダード法」はA / Bテストであり、同じページの2つの異なるバージョンを設計し、それぞれのユーザーにそれらを表示し、どのようにそれぞれ変換するかに関する統計を収集する[8]。プロセスは、ドメインと変換の最適化についての人間の知識を設計に組み込み、その結果をテストすることを可能にするプロセスである。結果を忘れてしまうと、新しいデザインを比較して徐々に改善することができます。 A / Bテストプロセスは、時間がかかります。

このようにしてページデザインのごくわずかな部分しかテストできず、デザインの微妙なやりとりが気づかずに利用される可能性があります。 A / Bの代わりに、多変量テストがあります。ここでは、いくつかの要素のすべての値の組み合わせを一度にテストします。このプロセスはこれらの要素間の対話を取得しますが、通常は少数の要素のみが含まれます（例2-3）。設計空間の残りの部分は未解決のままです。この論文では、進化的計算に基づく変換最適化のための新しい技術について記述しています。 SentientTechnologiesによる変換最適化製品Ascendは、2016年9月以降顧客を募集している多数の電子商取引サイトに導入されている技術である[13]。 Ascendは、顧客設計の検索スペースを出発点として使用します。これは、変更可能なWebページ上の要素のリスト、およびヘッダーテキスト、フォント、および色、背景イメージ、覚え書きテキスト、およびコンテンツオーダーなどの可能な代替値で構成されます。ウェブページの候補を自動的に生成し、進化的な最適化によってそれらの候補を改善する。電子商取引サイトは大量のトランザクションを持っているので、多数のリアルユーザと一緒にライブ評価を行うことができる並行して。 Ascendの進化的プロセスは対話型進化の大規模並列バージョンとみなされ、数週間でウェブデザインを最適化することができます。アプリケーションの観点から、Ascendはウェブページ設計の大規模多変量最適化のための新規な方法である。アプリケーションに応じて、このアプローチでは20〜200％の改善が見られています[13]。ペーパーはAscendの基礎となるテクノロジを説明し、ユースケースの例を示し、電子商取引の最適化における進化的計算の将来の機会を示します。

2 背景

近年の電子商取引の爆発的な成長に伴い、まったく新しい分野の研究が登場しています。主なものの1つは、変換速度の最適化です。つまり、ウェブインタフェースを、カジュアルブラウザから実際の顧客に変換する際に可能な限り効果的に設計する方法を検討することです。変換は、購入、購入リストの登録、メール、ウェブサイト、デスクトップ、モバイル、ソーシャルメディアアプリケーション[1、11]の他のリンクのクリックなど、ウェブインターフェース上で所望のアクションをとることを意味する。コンバージョン数は通常クリック数で測定されますが、サイトでの収益や所要時間、サイトへの戻り率などの指標も測定されます。コンバージョンは現在、労働集約的な手動プロセスで最適化されています。ウェブデザイナーのデザイナーはマーケティング担当者がデザインを作成し、それをユーザーに向けてA / Bテストプロセスでテストします。彼らがどれだけうまく変換するかを測定する。変換率が統計的に有意であれば、be ?? erdesignが採用されます。設計は、それからドメインの専門知識を使ってそれを変えて、さらに改善することができます。創造とテストの別の数ラウンドで、それを変えることができます。変換の最適化は、電子商取引の急速な構成要素です.2016年、 ]。その投資の多くは売り上げにつながりません。コンバージョン率は通常2〜4％です。 2014年には、トップ10,000の電子商取引サイトのわずか18％がコンバージョン最適化を行い、2017年1月には30％がそうしました[4]。 Optimizely、Visual Web Optimizer、Mixpanel、Adobe Target [4]など、利用可能な変換最適化ツールが主流になっています。 esetoolsを使用すると、設計を簡単に行うことができ、ユーザーを割り当てることができ、結果を記録し、重要度を測定できます。プロセスにはいくつかの制限があります。第一に、ツールはectiveなWebインターフェイスを設計する作業を容易にしますが、designisは依然として人間の専門家によって行われています。したがって、ツールは、専門家のアイデアを援助し、斬新なデザインを探求し、発見するのを助けるための支援を提供する。第2に、プロセスの各ステップは統計的に重要なので、いくつかの設計だけをテストすることができます。それぞれの改善ステップは山登りの1ステップに相当し、このようなプロセスはローカルの最大値に固執する可能性があります。第4に、このプロセスは、偽陽性を減らすことを目的としており、したがって、偽造を増加させる。すなわち、良いアイデアを有するデザインが見落とされる可能性がある。ツールは多変量テストのサポートを提供するが、実際にはいくつかの組み合わせ（例えば、2つの要素の可能な値、または3つの要素の3つの可能な値）をテストすることができる。結果として、それは、要素間の相互作用を発見して利用することである。

進化的最適化は、これらの限界に対処するのに適しています.Evolutionは探査のための効率的な方法です。進歩には弱い統計的証拠しか必要ではない。その確率的自然現象は地元の最大値にとどまった。良いアイデアは徐々に広まります。最も重要なのは、進化は前向きな相互作用を探します。例えば、Ascendは、ボタンが緑色になる必要がありますが、透明でかつ theheaderが小さいフォントで、かつヘッダーテキストが整列している場合のみのみを指定します。そのような相互作用は、A / Bテストを使用して、結果に人間洞察を必要とすることによって、非常に大きく変化する。 Evolutionはこの発見を自動化します。したがって、Ascendは対話型進化[12,15]とクラウドソーシング[2]、[9]のアプローチに関連しており、候補者の評価はオンラインで行われます人間のユーザによって。しかし、通常のインタラクティブ進化のパラダイムでは、人間の評価者が比較的少なく、候補者を選択して候補者のプールを明示的に評価することが課題です。対照的に、Ascendでは、膨大な数の人間のユーザが候補者と相互作用しており、それらの行為（すなわち、変換または非変換）から暗黙的に導かれる。

3 昇順メソッド

Ascendは、可能なWebインターフェイスのスペースを定義し、そのスペースを適切にカバーして人口を初期化し、候補者にインテリジェントに割り当てることで、悪いデザインを早期に排除し、候補をオンラインで並行してテストします。これらのステップのそれぞれについて、このセクションでより詳細に説明します。 3.1検索スペースの指定 Ascendの出発点はwebdesignerの検索スペースです。 Ascendは、単一のウェブページのデザインを最適化するため、またはランドリングページ、選択肢、ショッピングカートなどの複数のページで構成されるファンネルを最適化するように設定できます。そのような空間ごとに、デザイナーは、そのページの要素とそれらが取ることができる値を指定します。例えば、図1のランディングページの例では、ロゴサイズ、ヘッダーイメージ、色、内容の順序はそのような要素であり、それぞれ2-4の値をとることができます.Ascendは可能な組み合わせの空間で良いデザインを検索しますこれらの値。スペースはコンビナトリアルであり、非常に大きくてもよい。この例では1.1Mです。興味深いことに、Webページ最適化を進化のための良いアプリケーションにするのは、まさにこの複合的性質です。人間のデザイナーは、どのような価値を使用するかについての洞察力を持っていますが、それらの組み合わせは、予測することが難しく、。 3.2進化の初期化典型的な設定は、ウェブインタフェースのための現在の設計が既に存在することであり、Ascendの目標はその性能を改善することである。ウェブインタフェースの現在の設計は、制御として指定されており、実際のユーザーと評価されるため、探査は顧客にとってコストがかかります。したがって、候補者は進化の至る所で合理的によく成り立っていることが重要です。初期の人口が無作為に生成された場合、多くのWebインターフェースはうまく機能しません。代わりに、最初の集団はコントロールを出発点として作成されます：1つの要素の値を体系的に変更することによって候補が作成されます。小さな検索空間では、初期集団は対照からの1つのすべての候補からなる。大きな検索スペースでは、人口はそのような候補の集合のサンプルです。このような初期化を行うと、ほとんどの候補者がコントロールと同様に機能します。候補者は探索空間の包括的なサンプリングを表し、進化の出発点となります。

f:id:miyamotok0105:20170305140755p:plain 図1：Webページデザインの例と要素この例では、13個の要素のそれぞれが2〜4個の可能な値を持ち、その結果、1.5Mの組み合わせが得られます。

f:id:miyamotok0105:20170305140826p:plain 図2：Web Interfaceの候補に対する遺伝的エンコーディングと操作。ページは、要素値と1ホットエンコーディングとの連結として表される。クロスオーバと突然変異は、これらのベクトルを通常どおり操作し、新しい値の組み合わせを作成します。

f:id:miyamotok0105:20170305140922p:plain 図3：オンライン進化システムの全体的なアーキテクチャ各相互作用の結果（すなわち、ユーザが変換されたか否か）は、設計の1つの評価を構成する。多くのそのような評価ijは、異なるユーザjと並行して実行され、平均して設計がどれほど良好であるかを推定する。すべてのデザインが評価されているため、アダプテーションプロセスは悪いデザインを破棄し、最良のデザインのバリエーションを多く生成します。プロセスのために割り当てられた時間が費やされるまで、生成、テスト、および選択のプロセスが繰り返されます。これまでに発見された最良の設計は、学習プロセスの結果として出力される。このように、ライブオンラインテストを通じてウェブインターフェースのための良いデザインを発見します。

3.3 進化プロセス

各ページは、図2の2つの例のページ（le ??側）に示すように、ゲノムとして表されています。（2つのゲノム中の要素の再結合、中期）、突然変異（ランダムに変化する1つの要素、すなわち右側にある）を実行して新しい候補を作成する。現在のインプリメンテーションでは、現在の母集団から∞の春の候補を生成するために、按分比例選択が使用されます。 n個の候補者の現在の人口から、新しいn個の候補者がこのように生成される。評価は高価であり、ほとんどの顧客が支払う必要があるので、進化中にそれらを最小化することは有用である。各ページは、それが有望であるかどうか、すなわち、次世代の親として扱うべきかどうか、または廃棄すべきかどうかを判断することができる程度にのみテストされる必要がある。したがって、年齢階層化に類似したプロセス[7、14]は、評価を割り当てるために使用されます。各世代において、各新しい候補および各古い候補は、2000などのユーザインタラクションの少数（成熟度）で評価される。上位n個の候補が保持され、bo | omnは破棄される。このようにして、悪い候補者はすぐに排除される。優れた候補者は漸進的な評価を受け、その評価値が増加します。このプロセスでは、昇順に並んでいる要素の組み合わせを知り、次第に最も盛んなデザインを中心に検索を集中します。したがって、検索スペースのごくわずかな部分だけをテストする、つまり数百万または数十億の代わりに数千のページをテストすることができます。

3.4 オンライン進化

シンプルなケース（可能な設計のスペースが小さい場合）では、システマティック・サーチ、ヒル・クライミング、または補足学習などのより簡単なメカニズムによって最適化が行われる可能性がありますが、集団ベースのアプローチは特に効果的です。並行して行われます。他のユーザーが同時にサイトと対話するため、全人口を一度にテストすることができます。また、各設計を統計的にテストする必要はありません。弱い統計的な証拠だけが検索で進行するのですか？このプロセスでは、A / Bまたは多変量テストでは不可能な短時間で数千のページ設計をテストすることができます。図3は、システムの全体的なアーキテクチャを示しています。代替設計（中心）の集団は、実際のユーザーとの評価に基づいて適合する（右）。多くのユーザーが並行してデザイン（中心）の評価を評価しています（le ??）。進化プロセス（右）は新しいデザインを生み出し、最終的に最高のデザインを出力します。システムはまた、どの設計がどのユーザに示されたかを把握しており、一定の時間内（例えば、同じ日）に戻ると同じ設計を見ることができる。 f:id:miyamotok0105:20170305140959p:plain 図4：制御設計と3つの最も進化した設計 60日間の599,008人のユーザインタラクションの進化から、検索ウィジェットのデザインは、対照よりも46.6％（5.61％対8.22％）改善されていることが判明しました。改善の大部分は、ウィジェットに注意を引く色の組み合わせを発見することに基づいており、行動の呼び出しを明確にしています。

4 ケーススタディ

Ascendがどのように機能するかの例として、ABUV Media、Inc.が設計したユーザーをオンライン教育プログラムに結びつけるためのリードジェネレーションサイトであるlearnhowtobecome.orgのWebインターフェイスを最適化するケーススタディを考えてみましょう。 2016年にサイトのデスクトップを更新しました。このページの最初のデザインは、 Optimizelyなどの標準ツールを使用して手作業で設計されていました。実験の間のそのコンバージョン率は、そのようなWebインターフェイスの典型である5.61％であることが判明しました。このページに基づいて、Webデザイナーは、それぞれ2つのトーン値を持つ9つの要素を思いつき、381,024の潜在的な組み合わせをもたらしました（図5）。はるかに大きい探索空間が可能であるが、この例は現在の多くの現場と共通の中間の空間を表す.37ページの候補の初期集団は、対照ページの各値を代替値の1つと系統的に置き換えることによって形成された。セクション3.2。進化は60日間、または4世代にわたって実行され、合計で599,008人のユーザーインタラクションを持つ111人のユーザーをテストします。この時点での候補者の推定転換率を図6に示した。上位20名の候補者の転換率を図7に示した。図7は、進化が発見に成功したか否かを示している。制御よりも候補が多い。独立した検証として、図4の3つの最上位の候補をOptimizelyを使用してA / Bテストにかけました。 6500人のユーザインタラクションの中で、最良の候補は、99.5％以上の有意差（37.1％と28.2％）でコンバージョン率を43.5％増加させることであった。コントロールとは異なり、トップ候補者は明るい背景色を利用してウィジェットを描画します。背景はバナーとは異なるが、それと競合しないバックグラウンドと青いバナー（その色は？xed）との間の重要な相互作用である。さらに、色の付いたバックグラウンドを考えると、黒いテキストの白い背景がアクションのための最も明確な呼び出しを提供しました。このような相互作用を事前に認識するのは難しいですが、進化はそれらを早期に発見し、後の候補の多くはそれらに基づいています。他の要因、例えば行動を促すための呼び掛け（「情報を要求する」ではなく「開始する」および「プログラムを検索する」など）は、それをさらに増幅させる。より進化した進化とより大きな探索空間（例えば、バナーの色や他の選択肢を含む）が結果をさらに向上させる可能性があることを示唆している。

f:id:miyamotok0105:20170305141052p:plain 図5：learnhowtobecome.comのケーススタディの要素と値を示す、Ascend実験を設計するためのユーザーインターフェイスのスクリーンショット 2つから9つの異なる値を持つ9つの要素は、それぞれ381,024の潜在的なWebページデザインをもたらします。各要素の最初の値がコントロールとして指定されます。現在のウェブインターフェース設計に典型的な中間サイズの問題である。

f:id:miyamotok0105:20170305141206p:plain 図6：60日間のオンライン・エボリューション・ランによる推定換算レート日はx軸にあり、変換率はy軸にあります。現在の最良候補、明るい青色の点（中央）、現在アクティブな候補の平均値、およびオレンジ色の点（下側）は、コントロールデザインの推定パフォーマンスを示します。区切られた区域は、95％の間隔間隔（観測された平均値を有する二項分布から）を表示する。暗い青色のピークは、新しい世代の始まりを示しています。このようなピークは、最初の数日間は新しい候補者がわずかな回数しか評価されておらず、そのうちのいくつかはランダムなチャンスで推定される確率が非常に高いためです。その結果、2000年のユーザーインタラクションの成熟時代推定値は低くなり、間隔は狭くなる。エリート候補は、3.3節で説明したように、いくつかの世代にわたってテストされ、最終的には狭い間隔が得られます。後世代の最良の候補者の推定転化率は、対照よりも有意に高く、進化がより良い候補を発見するのに有効であることを示唆している。興味深いことに、アクティブ集団平均は対照よりも高く、この実験ではパフォーマンス上のコストは発生しませんでした。

f:id:miyamotok0105:20170305141301p:plain 図7：上位20候補の推定転換率vs. 候補は、図6のものに対応する数字を用いてx軸に識別される.θeyは、それらの推定変換率に従って順序付けられる。これらの候補者はすべて、95％レベルのコントロールよりもはるかに優れています。 43.5％の改善を示した独立したA / Bテストを実施した結果、最良のもの（右のもの）は46.6％優れています。

参考

https://arxiv.org/pdf/1703.00556.pdf

2017-03-14

2017年3月14日の深層強化学習の勉強会

勉強会

昨日開催した勉強会にはできる方がいらっしゃったので一部が非常にレベルが高くなりました。 https://kikaigakushuu.connpass.com/event/52124/

chainer rlを使おう、、、多くのアルゴリズムも試されてるし、良いので使おうとのこと https://github.com/pfnet/chainerrl

a3c PyTorchでA3C - rarilureloの日記

https://github.com/rarilurelo/pcl_keras

夢を見る人工知能、、、数ステップの過去情報の中で報酬の高かったものを学習させる https://github.com/miyosuda/unreal

株の取引はオワンダでやる http://developer.oanda.com/docs/jp/v1/guide/

いもすアルゴリズム https://imoz.jp/algorithms/imos_method.html https://storage.googleapis.com/imoz-jp/slides/160321_trading.pdf

複数時間軸のデータをとることでフラクタル構造を発見 http://mayohare-fx.com/science-fractal/

この辺とa3cの強化学習を混ぜろと言ってた。

2017-03-14

2017年の深層学習動向と予測

深層学習

私は前のブログに次の年の予測を書いていました。私が最後に書いたのは、2011年のソフトウェア開発動向と予測でした。それはかなり前のことです。10の予測のうち、私は6つの予測（つまり、Javascript VM、NoSQL、Big Data Analytics、プライベートクラウド、Inversion of Desktop Services、Scala）を得ているが、残りの4つは十分なトラクションを得ていないAppStore、Semantic Indexing、企業内のOAuth、プロアクティブエージェント）。実際、AppStoresとOAuthは大企業では発生しませんが、中小企業はこのSaaSモデルを全面的に採用しています。予測の失敗をチョークして、遅い企業が実際にどのように変化するかを予測できないようにします。残りの2つの予測、セマンティック索引付けとプロアクティブエージェントの予測、私が当初計画していたように残念ながら進歩していません。私はその時のAI技術を過度に推測しているかもしれません。当時、ディープラーニングは発明されていなかった。ディープ・ラーニングの予測は、私の以前の予測と同じ概念レベルではありません。私は企業の採用を予測するつもりはありませんが、むしろ研究動向と予測に焦点を当てるつもりです。間違いなく、ディープラーニングはAIの採用を企業に促します。まだ岩の下に住んでいる人にとって、ディープ・ラーニングはAIにとって最も重要なアプローチであるという事実です。しかし、それほど明白でないのは、2017年にどのような新しい機能が発生し、指数関数的な導入につながるかということです。だからここに2017年の私の恐ろしい予測が来る。

1.ハードウェアは、ムーアの法則（すなわち、2017年に2倍）を倍増させるでしょう。

これは、もちろん、NvidiaとIntelの開発状況を追跡すると完全に明らかです。Nvidiaは2017年全体で最も豊富なDeep Learningエコシステムを備えているため、スペースを支配します。DLのために開発されたエコシステムが十分にあるまで、正しい考え方の誰も他のプラットフォームにジャンプしません。Intel Xeon Phiソリューションは到着時にDLに応答して死んでいます。最高でも、ネルバナ由来のチップが発売される2017年中頃までに、彼らはNvidiaのパフォーマンスに追いつくかもしれません。インテルのFPGAソリューションは、単に経済性のためにクラウドプロバイダーの採用を見るかもしれません。消費電力は、削減が必要な変数の1つです。IntelのNervanaベースのチップは、2017年半ばまでに30テラフロップでクロックインする可能性が高い。これは私の推測ですが、今日はすでに20テラフロップスになっているので、2018年までインテルに大きなインパクトがあるとは思っていません。インテルが持つ唯一の大きなエースは、3D XPoint技術です。これは、ハードウェアスタック全体を改善するのに役立ちますが、パフォーマンス上の理由から、GPUがチップの上にスタックされたHBM2を使用することを考慮すると、必ずしもコアアクセラレータ機能ではありません。 AmazonはFPGAベースのクラウドインスタンスを発表しました。これは、ザイリンクスUltraScale +テクノロジに基づいており、1回のインスタンスで6,800個のDSPスライスと64 GBのメモリを提供しています。これは素晴らしい機能ですが、HBMバージョンのUltraScale +を提供しないことでI / O制限を受ける可能性があります。Nvidia、Intel、さらにはAMDと比較してメモリ帯域幅の低いソリューションは、開発者がより複雑な開発プロセス（VHDL、Verilogなど）に投資するかどうかを中断する可能性があります。最近のニュースでは、AMDはディープ・ラーニング・アクセラレータの新しいAMD Instinctラインを発表しました。これらの仕様は、Nvidiaハードウェアと比較して非常に競争力があります。この製品は、2017年初頭に発売される予定です。これはおそらく、AMD ROCmソフトウェアが成熟するのに十分な時間であるはずです。

2.畳み込みネットワーク（CNN）が支配する

CNNは、DLシステムの普及したパン・アンド・バター・モデルとなるでしょう。再構成と埋め込みメモリノードを持つRNNとLSTMは、CNNベースのソリューションと競合しないため、あまり簡単に使用されません。GOTOがプログラミングの世界で姿を消したように、RNNs / LSTMでも同じことが期待されます。実際、パラレル・アーキテクチャは、パフォーマンスにおいてシーケンシャル・アーキテクチャを凌駕します。微分可能なメモリネットワークがより一般的になります。これは、メモリがコアノードからリファクタリングされ、計算コンポーネントとは別のコンポーネントとして存在するアーキテクチャの自然な結果です。補助的な微分可能なメモリに置き換えることができるLSTM用の入力ゲートと出力ゲートを忘れる必要はありません。私たちはすでにLSTMをリファクタリングしてメモリを切り離す会話を見ています（拡張メモリRNNを参照）。

3.デザイナーはMeta-Learningにもっと頼ります

ディープ・ラーニングの旅を始めると、最適化アルゴリズム、特に2次の最適化アルゴリズムが大幅に改善されると思っていました。今日、執筆は壁に、DLは今あなたのための最適化アルゴリズムを学ぶことができます。SGDのより良いバージョンを検討している人にとっては、これが終わりです。SGDのより良いバージョンは、マシンで学習されたもので、手元の問題に固有のものです。メタ学習は、そのドメインに基づいて学習を適応的に最適化することができます。さらにこれに関連して、バックプロパゲーションに対する代替アルゴリズムが実際に現れ始めるかどうかが問題となる。2017年に手をつけたSGD アルゴリズムが最後の足にある可能性があります。

4.強化学習はより創造的になります

現実に関する観察は常に不完全なままです。SGDが適用されない場合、多くの問題があります。これにより、DLシステムの実用的な展開には何らかの形式のRLが必要になることが必須です。これに加えて、私たちはDLトレーニングの多くの場所で使用されるRLを見ていきます。例えば、メタラーニングは、RLによって大きく有効にされる。事実、RLはさまざまな種類のニューラルネットワークアーキテクチャを見いだしてきました。これは、ステロイドでのハイパーパラメータ最適化のようなものです。Gaussian Processビジネスに参加した場合、あなたのランチはちょうど食べられました。

5.敵対的で協力的な学習が王様になる

昔、単一の解析目的関数を持つモノリシックなDLシステムがありました。新しい世界では、2つ以上のネットワークが協力しているか、競合するシステムが分析的な形ではない最適なソリューションに到達することを期待しています。「ゲーム理論はディープラーニングの未来を明らかにする」を参照。2017年には、非平衡の状況を管理しようとする際に多くの研究が行われます。研究者がGANとの非平衡状態を処理する方法を見つけようとしているところでは、すでにこれを見ることができます。

6.予測学習や教師なし学習はあまり進まない

「予言的学習(Predictive Learning)」は、ヤン・ルクンがより一般的な用語である「教師なし学習」に代わる新しい流行語です。この新しい用語が採用されるかどうかは不明です。教師なし学習または予測学習が2017年に大きな進歩を遂げるかどうかという疑問。私の現在の感覚は、それがうまくいかなければならないかについての大規模な概念的切断があるように見えることではないということです。前回の「5つのディープ・ラーニング・インテリジェンスの機能」を読んだら、Predictive Learningは私が提案したモデルに靴ひもをつける必要がある完全に未知の機能だと感じました。予測学習は宇宙論者ダークマターのようなものです。私たちはそれがそこにあることを知っていますが、私たちはそれを見る方法を知らないだけです。私の感慨深さは、高いエントロピーやそれ以外の場合のランダム性と関係があるということです。 7.移転学習は工業化につながる Andrew Ngはこれが重要だと思っています。私もそうだと思います！ 8.より多くのアプリケーションはディープラーニングをコンポーネントとして使用しますディープラーニングがはるかに大きな検索アルゴリズムで機能評価コンポーネントとして使用されていることを2016年に確認しました。AlphaGoは、その価値観と政策評価においてDeep Learningを採用しました。GoogleのGmail自動返信システムでは、DLをビーム検索と組み合わせて使用していました。私は、新しいエンドツーエンドの訓練されたDLシステムではなく、これらのハイブリッドアルゴリズムをもっと多く期待しています。エンドツーエンドのディープラーニングは研究の魅力的な領域ですが、現在はハイブリッドシステムがアプリケーション分野でより効果的になるでしょう。 9.デザインパターンがますます採用されるディープラーニングは、概念的な構造を必要とする複雑な分野の1つにすぎません。すべての先進的な数学にかかわらず、正式な厳密さではなく、ソフトウェア開発のような他の複雑な領域で効果的であることが証明された方法で最もよく捕捉できる手振れやファジィな概念が数多くあります。デリバリーとデザインのパターンに関しては、実践者が最終的に「得る」と予測しています。これは、ディープ・ラーニング・アーキテクチャーがモノリシックではなくモジュラーになっているという事実によってさらに動機づけられます。エンジニアリングは理論を上回ります研究者と彼らが採用している数学的ツールの背景は、研究アプローチにおける一種の偏りの育成場です。ディープラーニングシステムと教師なし学習システムは、これまでに遭遇したことのない新しいタイプの可能性があります。したがって、従来の分析ツールはDLが実際にどのように動作するかについての謎を解明する助けとなるという証拠はありません。物理学には数十年の間に悩まされている力学系がたくさんありますが、私は動的学習システムに関しても同じ状況を見ています。しかし、このような状況は、ファンダメンタルズの理解が不足しているにもかかわらず、さらに高度なアプリケーションの設計を妨げることはありません。ディープラーニングは、バイオテクノロジーや遺伝子工学のようなものです。私たちはシミュレートされた学習マシンを作成しましたが、どのように動作するか正確にはわかりませんが、誰もそれを革新することを妨げていません。

参考

https://medium.com/intuitionmachine/10-deep-learning-trends-and-predictions-for-2017-f28ca0666669#.o94xe0qi2

2017-03-13

ディープ・マインドのPathNet：AGIのモジュール型ディープ・ラーニング・アーキテクチャ

汎用AI

PathNetは、Modular Deep Learning、Meta-Learning、Reinforcement Learningを融合させてより優れたDLに導くDL研究の最新動向を明らかにする、DeepMind以外の誰があなたにもたらした新しいModular Deep Learning（DL）アーキテクチャです。システム。 2017年1月20日、Arxivの論文「PathNet：スーパーニューラルネットワークにおける進化チャネルグラディエント降下」（Fernando et al。）に、抽象的な次の興味深い記述があります。人工総合知能（AGI）の場合、巨大な忘却を伴うことなく、複数のユーザが同じ巨大なニューラルネットワークを訓練し、パラメータの再利用を可能にすると効率的である。 PathNetはこの方向の第一歩です。それはニューラルネットワークに組み込まれたエージェントを使用するニューラルネットワークアルゴリズムであり、そのタスクはネットワークのどの部分を新しいタスクに再利用するかを発見することです。従来のモノリシックDLネットワークとは異なり、PathNetは多くのニューラルネットワークで構成されたネットワークを再利用し、複数のタスクを実行するようにトレーニングします。著者の実験では、ネットワークが最初から訓練された場合よりも、第2のタスクで訓練されたネットワークがより早く学習することが示されています。これは、この種のネットワークで転送学習（または知識の再利用）を活用できることを示しています。 PathNetには、転送学習、継続学習、マルチタスク学習の側面が含まれます。これらは、より継続的に適応可能なネットワーク、したがってAGI（投機的）につながる可能性のあるアプローチに不可欠な側面です。アーキテクチャを調べてみましょう：

f:id:miyamotok0105:20170305032321p:plain

https://arxiv.org/pdf/1701.08734v1.pdf

採用された技術をよりよく理解することができます。 PathNetは、階層内の各ネットワーク間の相互接続が異なる検索方法によって発見されるニューラルネットワークの階層からなる。上記の図では、構成は一度に1つのレイヤーにつき4つのネットワークを選択するように制約されています。この論文では、遺伝的アルゴリズム（進化的アルゴリズム）とA3C強化学習に基づくアルゴリズムの2つの発見アルゴリズムについて説明します。著者たちは「Google Brainからの「大規模な大規模なニューラルネットワーク」」と「Convolutional Neural Fabrics」との類似点からインスピレーションを得ました。大規模なニューラルネットワークは、次のように説明されています。最新のGPU クラスタでの計算効率のわずかな損失だけで、モデル容量の1000倍を超える改善を達成しました。我々は、数千のフィードフォワードサブネットワークで構成されたまばらにゲートされたMixed-of-Expertsレイヤー（MoE）を導入します。訓練可能なゲーティングネットワークは、各例で使用するこれらの専門家の疎結合を決定します。私たちは、モデリング能力とトレーニングコーパスで利用できる膨大な知識を吸収するためにモデル能力が重要な言語モデリングと機械翻訳のタスクにMoEを適用します。本発明者らは、積み重ねられたLSTM層間に畳み込まれて1370億個のパラメータを有するMoEが適用されるモデルアーキテクチャを提示する。重要なアーキテクチャーコンポーネントは、次のように示されています。

f:id:miyamotok0105:20170305032410p:plain

https://arxiv.org/pdf/1701.06538v1.pdf

これは、専門家の混合物から選択する条件付き論理構成要素を示す。これまでの記事「条件付きロジックは新しいDLの暑さである」のDLの条件付きロジックについて説明しました。ここでの基本的な考え方は、条件付きコンポーネントを使用することができれば、コンテキストに依存する異なるエキスパートで動作するより大きなネットワークを構築できることです。したがって、単一のコンテキストはネットワーク全体の小さなサブセットを使用します。コンボリューション・ニューラル・ファブリックは、ハイパーパラメータ調整の代替アプローチです。

f:id:miyamotok0105:20170305032548p:plain

https://arxiv.org/pdf/1606.02492.pdf

つまり、複数の異なる構成を実行し、何がうまくいくかを発見するのではなく、ファブリックは、より大きなネットワークで異なるパスを試行し、最適なパスを見つけようとしながら、ネットワークで以前に発見された最適なサブパスを同時に再利用しようとします。上の図は、ネットワークがファブリック内にどのように埋め込まれているかを示しています。また、このアプローチは、異なるネットワークアーキテクチャを探索する以前に公開されたメタ学習技術の変形として考えることもできる。前回の記事「DL予測2017」では、＃3メタ学習、＃4強化学習、＃5反対＆協調学習、＃7移動学習の4つの新興トレンドを指摘しました。 PathNetがどのようにして4つのトレンドを単一の大きなフレームワークに組み込んでいるように見えるかは、単に魅力的です。ここで見ていることは、これらの異なるアプローチを融合すれば、斬新で有望な新しいアーキテクチャにつながる可能性があるということです。 PathNetアーキテクチャは、より適応性のあるDLアーキテクチャへのロードマップも提供します。 DLモノリシックアーキテクチャはトレーニング後に非常に堅牢で、展開すると固定されたままです。これは、継続的に学習している生物学の脳とは異なります。 PathNetを使用すると、新しいコンテキストを同じ時間に学習することができ、他のコンテキストでのトレーニングの知識を活用してより迅速に学習できます。これらの新しいアーキテクチャは、ディープ・ラーニング・ハードウェアを最適に設計する方法についての新たな考え方につながるかもしれません。まばらに相互接続された大規模なニューラルネットワークネットワークは、一度に多くのサブネットワークの電源を切ることができるため、より効率的なシリコンを設計する機会があることを意味します。

www.youtube.com

参考

https://medium.com/intuitionmachine/pathnet-a-modular-deep-learning-architecture-for-agi-5302fcf53273#.jjuchmjb6

参考

前書き

問題