2017年論文リサーチ

解釈可能な構造 - 進化するLSTM(Interpretable Structure-Evolving LSTM)

https://arxiv.org/abs/1703.03055 本稿では、Long Short-Term Memory（LSTM）リカレントニューラルネットワークを用いた階層グラフ構造上の解釈可能なデータ表現を学習するための一般的なフレームワークを開発する。LSTMモデルを事前固定構造で学習するのではなく、LSTMネットワーク最適化中にデータから漸進的かつ確率的に中間解釈可能なマルチレベルグラフ構造をさらに学習することを提案する。したがって、このモデルを構造進化型LSTMと呼びます。特に、各ノードが小さなデータ要素である初期の要素レベルのグラフ表現から開始して、構造を発展させるLSTMは、スタックされたLSTM層に沿って高い互換性を有するグラフノードを確率的にマージすることによって多段階グラフ表現を徐々に進化させる。各LSTM層において、我々は、対応するLSTMゲート出力からの2つの接続されたノードの互換性を評価し、これはマージ確率を生成するために使用される。したがって、候補グラフ構造は、ノードが、それらの合併確率を有するクリークにグループ化されるところで生成される。次に、確率確率を用いた確率的サンプリングによって局所的最適に詰まるリスクを軽減するMetropolis-Hastingアルゴリズムを用いて新しいグラフ構造を生成する。グラフ構造が受け入れられると、分割されたクリークをノードとすることにより、より高いレベルのグラフが構築される。進化するプロセスでは、冗長な情報がフィルタリングされ、より長期間のデータ依存性のより効率的な伝播を可能にする上位レベルで表現が抽象化されます。

深層ネットワークの高速適応のためのモデルに不可欠なメタ学習(Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks)

https://arxiv.org/abs/1703.03400 我々は、勾配降下で訓練され、分類、回帰、および強化学習を含む様々な異なる学習問題に適用可能なモデルと互換性があるという意味で、モデルに依存しないメタ学習のアルゴリズムを提案する。メタ学習の目標は、少数の訓練サンプルのみを使用して新しい学習タスクを解決できるように、さまざまな学習タスクでモデルを訓練することです。我々のアプローチでは、モデルのパラメータは明示的に訓練されているため、新しいタスクからの少量の訓練データを伴う少数の勾配ステップがそのタスクに対して良好な一般化性能を生成する。実際には、私たちの方法はモデルを微調整しやすいように訓練します。このアプローチにより、少数の画像分類ベンチマークで最先端のパフォーマンスが得られる。

ニューラルネットワークに対するジェネティックポイズニング攻撃法(Generative Poisoning Attack Method Against Neural Networks)

[1703.01340] Generative Poisoning Attack Method Against Neural Networks 中毒攻撃は、機械学習アルゴリズムに対する重大なセキュリティ上の脅威と認識されています。例えば、多くのアプリケーションでは、深いニューラルネットワーク（DNN）モデルは、入力データが被害を受けうる再トレーニングを実行するための入力としてパブリックデータを収集します。サポートベクターマシン（SVM）に対する中毒攻撃は、これまで広範に研究されてきたが、そのような攻撃がニューラルネットワーク（NN）、特にDNNにどのように実装されるかに関する知識は非常に限られている。本研究では、まず、従来の勾配法（直接勾配法と呼ばれる）を適用して、NNに対して被毒モデルデータを生成する可能性を調べる。次に、被毒データの発生率を高めるための生成方法を提案する。被毒データの生成に用いたオートエンコーダ（ジェネレータ）をロスの報酬関数で更新し、対象NNモデル（弁別子）が被毒データを受信して​​ノーマルデータの損失を計算する。本発明者らの実験結果は、直接的な勾配法と比較して、生成法が被毒データ発生速度を最大239.38倍高速化することができ、モデル精度がわずかに低下することを示している。ターゲットモデルの喪失をチェックすることによって、そのような被害の攻撃方法を検出する対策も設計されています。直接勾配法と比較して38倍であり、モデル精度がわずかに低下している。ターゲットモデルの喪失をチェックすることによって、そのような被害の攻撃方法を検出する対策も設計されています。直接勾配法と比較して38倍であり、モデル精度がわずかに低下している。ターゲットモデルの喪失をチェックすることによって、そのような被害の攻撃方法を検出する対策も設計されています。 ＞DNNに対して毒のデータを学習させることで精度を低下させる。

Inception-v4、Inception-ResNetと学習に残る接続の影響(Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning)

非常に深い畳み込みネットワークは、近年の画像認識性能の最大の進歩の中心であった。 1つの例は、比較的低い計算コストで非常に良好な性能を達成することが示されているインセプションアーキテクチャである。最近では、より伝統的なアーキテクチャと連携した残存接続の導入により、2015年のILSVRCの課題に最先端のパフォーマンスがもたらされました。その性能は最新世代のInception-v3ネットワークに似ていました。これは、インセプションアーキテクチャを残存接続と組み合わせることに何らかの利益があるかどうかの問題を提起する。ここでは、残留接続を伴うトレーニングがインセプションネットワークのトレーニングを大幅に加速するという経験的な証拠を明確にしています。残余のインセプション・ネットワークが同様に高価なインセプション・ネットワークよりも性能が優れているという証拠もいくつか残っている。我々はまた、残余および非残余のインセプションネットワークのためのいくつかの新しい合理化されたアーキテクチャを提示する。これらのバリエーションは、ILSVRC 2012分類タスクの単一フレーム認識性能を大幅に向上させます。さらに、適切なアクティブ化スケーリングが非常に広い残差インセプションネットワークのトレーニングを安定させる方法を示します。 3つの残差と1つのInception-v4のアンサンブルで、ImageNet分類（CLS）チャレンジのテストセットで3.08％のトップ5エラーを達成します。 ＞ネットワークの安定をさせる。3つの残差と1つのInception-v4のアンサンブルを使用。

実行の習得(Learning to Execute)

http://arxiv.org/abs/1410.4615 長い短期記憶単位（LSTM）を有するリカレントニューラルネットワーク（RNN）は表現力があり、訓練が容易であるため広く使用されている。私たちの関心は、伝統的にニューラルネットワークにとって複雑すぎると見なされている短いコンピュータプログラムを評価するためにそれらを訓練することによって、シーケンス間シーケンスのLSTMの表現力と学習可能性を経験的に評価することにあります。定数メモリを使用して単一の左から右へのパスで評価できる単純なクラスのプログラムを検討します。私たちの主な結果は、LSTMがそのようなプログラムの文字レベルの表現を正しい出力にマップすることを学ぶことができるということです。特に、カリキュラムの学習を使用する必要があり、従来のカリキュラムの学習は効果がないと判明しましたが、私たちはすべての実験条件でネットワークのパフォーマンスを改善した新しいカリキュラムの変種を開発しました。改善されたカリキュラムは追加問題に劇的な影響を与え、99％の精度で2つの9桁の数値を追加するようにLSTMを訓練することを可能にしました。 https://github.com/fchollet/keras/blob/master/examples/addition_rnn.py

微分可能な境界木を用いた最近接近傍表現の学習(Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees)

https://arxiv.org/abs/1702.08833 最近（kNN）法は、ハードウェアの進歩とアルゴリズムの効率を考慮して、近年普及している。今日から選択する方法は、それぞれ長所と短所があります。すべてのkNNに基づく方法間で共有される1つの要件は、サンプル間の良好な表現および距離測定の必要性である。 我々は、深いkNN表現を学習することを可能にする微分可能な境界木と呼ばれる新しい方法を紹介する。効率的な最近傍分類、回帰および検索を可能にする最近提案された境界木アルゴリズムを構築する。ツリー内のトラバーサルを確率論的事象としてモデル化することにより、我々はツリーの予測に関連する微分可能なコスト関数を形成することができる。深いニューラルネットワークを使用してデータを変換し、ツリーを逆拡散することで、kNNメソッドの良い表現を学ぶことができます。 我々の方法は、明確に解釈可能な構造を持つ非常に効率的な木を可能にする適切な表現を学ぶことができることを実証する。

DeepNAT：細分化神経解剖のための深畳み込みニューラルネットワーク(DeepNAT: Deep Convolutional Neural Network for Segmenting Neuroanatomy)

https://arxiv.org/abs/1702.08192

我々は、T1加重磁気共鳴画像におけるNeuroAnaTomyの自動セグメンテーションのための3D Deep畳み込みニューラルネットワークDeepNATを紹介する。DeepNATは、脳のセグメンテーションに対するエンドツーエンドの学習ベースのアプローチであり、抽象的なフィーチャー表現とマルチクラス分類を共同して学習します。我々は、パッチの中心ボクセルだけでなく、マルチタスク学習として策定された近隣のボクセルも予測する、3Dパッチベースのアプローチを提案する。クラスの不均衡問題に対処するために、2つのネットワークを階層的に配置します。最初のレイヤーではフォアグラウンドを背景から分離し、2つ目のレイヤーではフォアグラウンドで25の脳構造を識別します。パッチには空間的な文脈がないので、それらを座標で補強する。この目的のために、本発明者らは、脳容積の新規な固有パラメータ化を導入し、Laplace-Beltrami演算子の固有関数によって形成される。ネットワークアーキテクチャとしては、プーリング、バッチ正規化、および非線形性を備えた3つの畳み込みレイヤーと、完全に接続されたドロップアウトレイヤーを使用します。最終的なセグメンテーションは、クローズドボクセル間のラベル合意を確実にする、完全に接続された3次元の条件付きランダムフィールドを有するネットワークの確率的出力から推測される。ネットワーク内の約270万のパラメータは、確率的な勾配降下で学習されます。我々の結果は、DeepNATが最先端の方法に匹敵することを示しています。最後に、純粋に学習ベースの方法は、訓練されたネットワークを目的のアプリケーション上の小さな訓練サンプルで微調整することによって、若年者、老人、または罹患した脳への適応の可能性が高くなります。

GamerGateを測定すること：嫌悪、性欲、そしていじめの話(Measuring #GamerGate: A Tale of Hate, Sexism, and Bullying)

ここ数年の間に、オンラインの攻撃や虐待行為は、さまざまな形態やさまざまなプラットフォームで発生してきました。極端な場合、これらの事件は憎しみ、差別、いじめに発展し、実際の脅威や個人や団体に対する攻撃にもなりました。本稿では、Gamergateの論争を研究する。オンラインゲームの世界で2014年8月に開始され、さまざまなソーシャルネットワーキングプラットフォームに急速に広まり、最終的にはサイバー攻撃やサイバー攻撃の多くの事件につながった。私たちは、340kのユニークユーザーと1.6Mのツイートのデータセットの測定調査を発表し、これらのユーザーのプロパティ、投稿するコンテンツ、およびランダムなTwitterユーザーとの違いを調べます。この「Twitter戦争」に関わるユーザーは、より多くの友人やフォロワーを持つ傾向があり、一般的には従事していて、負の感情を伴うつぶやき、ランダムなユーザーよりも喜び、そして嫌いです。また、Twitterのサスペンドメカニズムがそのような虐待行為をどのように処理するかについて予備的な測定も行います。私たちはGamergateに焦点を絞っていますが、積極的でいじめの活動に関連するつぶやきを収集して分析する方法論は、独立した関心事です。 ＞データサイエンス的内容。 https://arxiv.org/abs/1702.07784

教師なし画像 - 画像変換ネットワーク(Unsupervised Image-to-Image Translation Networks)

1つの領域の画像を別の領域の対応する画像にマッピングする既存の画像 - 画像変換フレームワークの大部分は、教師あり学習に基づく。すなわち、2つの領域の対応する画像の対が翻訳を学習するために必要とされる関数。2つの異なる領域に対応する画像をキャプチャすることは、しばしば困難な作業であるため、これは主にアプリケーションを制限します。この問題に対処するために、私たちは、変分的な自動エンコーダーと生成的な対立ネットワークに基づく、UNIT（Unsupervised Image-to-Image Translation）フレームワークを提案する。提案されたフレームワークは、2つの領域に対応する画像なしに翻訳機能を学習することができる。我々は、重み共有制約と敵対的な訓練目的とを組み合わせることによって、この学習能力を可能にする。さまざまな監督されていない画像翻訳タスクからの視覚化結果を介して、提案されたフレームワークの有効性を検証する。切除研究は、重要な設計選択肢をさらに明らかにする。さらに、UNITフレームワークを教師なしドメイン適応タスクに適用し、ベンチマークデータセットで競合するアルゴリズムより優れた結果を達成します。 https://arxiv.org/abs/1703.00848

非負行列の因子分解の導入(Introduction to Nonnegative Matrix Factorization)

本稿では、非負行列分解（NMF）の概要を簡単に紹介します。NMFのいくつかの側面、すなわち、ハイパースペクトルイメージングにおける応用、NMF解の幾何学的および一意性、複雑さ、アルゴリズム、および多面体の拡張された処方との関連について議論する。NMFを視点に入れるために、制約のある低ランク行列近似問題のより一般的な問題クラスをまず簡単に紹介する。

深いエネルギーに基づく政策による強化学習(Reinforcement Learning with Deep Energy-Based Policies)

https://arxiv.org/abs/1702.08165 私たちは、以前の表ドメインでしか実現できなかった、連続した州や行為に対する表現力豊かなエネルギーベースの政策を学習する方法を提案します。我々は、ボルツマン分布を介して最適な方針を表すソフトQラーニングと呼ばれる新しいアルゴリズムの結果、最大エントロピー方針を学習する方法を適用する。我々は最近提案された償却されたスタイン変動勾配降下を使用して、この分布からのサンプルを近似する確率的サンプリングネットワークを学習する。提案されたアルゴリズムの利点は、水泳と歩行ロボットとの模擬実験で確認されるタスク間のスキルの移転を可能にする改善された探索と構成性を含む。我々はまた、対応するエネルギーベースのモデルについての近似推論を実行することができるアクター評論手法への接続を描く。

PMLB：機械学習のための大規模ベンチマークスイート評価と比較(PMLB: A Large Benchmark Suite for Machine Learning Evaluation and Comparison)

https://arxiv.org/pdf/1703.00512.pdf データマイニングにおける機械学習方法の選択、開発、または比較は、特定の研究の目標の問題および目標に基づいて困難な作業となり得る。実際の実世界とシミュレーションされた多数のベンチマークデータセットが異なるソースから出現していますが、標準としての組織と採用が一貫していません。そのため、特定のベンチマークを選択してキュレーションすることは、本研究では、さまざまな機械学習手法の長所と短所を容易に識別できるように、アクセシブルで、キュレーションされた、開発中の公開ベンチマークリソースを紹介します。このリソースの現在のベンチマークデータセットのメタ特徴を比較して、利用可能なデータの多様性を示します。最後に、多数の確立された機械学習手法をベンチマークスイート全体に適用し、データセットとアルゴリズムがどのようにパフォーマンスを集約するかを分析します。この作業は、一般的なベンチマークスイートの限界を理解し、既存のベンチマーキング標準を将来のより多様で効率的な標準に結びつけるリソースを開発するための重要な第一歩です。キーワード：機械学習、ベンチマーク、データリポジトリ、分類

着色（P6、ダイヤモンド、K4）フリーグラフ(Coloring (P6, diamond, K4)-free graphs)

https://arxiv.org/pdf/1703.00606.pdf 我々は、単純グラフ、有限グラフ、および無向グラフを考える。 ここで定義されていない表記法や用語については[22]を参照してください。

Xception：深度分離可能な深い学習(Xception: Deep Learning with Depthwise Separable)

https://arxiv.org/pdf/1610.02357.pdf 我々は、畳み込みニューラルネットワークにおけるインセプションモジュールの解釈を、規則的な畳み込みと深さ方向の分離可能な畳み込み演算（奥行き方向の畳み込みとその後のポイント畳み込み）との間の中間ステップとして提示する。この光では、深さ方向に分離可能な畳み込みは、最大数のタワーを有するインセプションモジュールとして理解することができる。この観察は、Inceptionモジュールが深さ方向に分離可能な畳み込みに置き換えられている、Inceptionに触発された新規な畳み込みニューラルネットワークアーキテクチャを提案する。我々は、Xceptionと呼ばれるこのアーキテクチャが、ImageNetdataset（Inception V3が設計された）上のInception V3をわずかに上回り、3億5000万の画像と17,000クラスを含むより大きな画像分類データセットでInceptionV3を大幅に上回ることを示す。 XceptionアーキテクチャはInceptionV3と同じ数のパラメータを持つため、パフォーマンスの向上は容量の増加によるものではなく、モデルパラメータの効率的な使用によるものです。

畳み込みと分離可能な畳み込みとの間の連続体

この強力な仮説に基づいて、Inceptionモジュールの「極端な」バージョンでは、最初に1x1畳み込みを使用してクロスチャネル相関をマップし、各出力チャネルの空間相関を別々にマッピングします。これは図4に示されている。我々は、この極端な形態のインセプションモジュールは深さ方向の分離可能なコンボリューションとほぼ同じであると言い、2014年の早い時期にニューラルネットワーク設計で使用されており、 2016年のTensorFlowフレームワーク[1] .TensorFlowやKerasなどのディーププレイングフレームワークで一般に「分離可能な畳み込み」と呼ばれる深度分離可能な畳み込みは、深さ方向の畳み込み、すなわち入力の各チャンネルで独立して実行される空間畳み込みすなわち、1x1畳み込み（convolution）であり、深度畳み込みによって出力されたチャネルを新しいチャネル空間に投影する。これは、空間的に分離可能な畳み込みと混同してはいけません。これは画像処理コミュニティで一般に「分離可能な畳み込み」とも呼ばれます。インセプションモジュールと高度に分離可能な畳み込みとの間の2つの小さな相違点は、
- 操作の順序：通常実行される（例えば、TensorFlowにおける）深さ方向に分離可能な畳み込みは、最初にチャネルワイズ空間畳み込みを行い、次に1x1畳み込みを実行するが、Inceptionは1x1畳み込みを最初に行う。
- 最初の操作後に非線形性があるかどうか。 インセプションでは、両方の操作の後にReLUの非線形性が続きますが、通常、奥行き方向の分離可能な畳み込みは非線形性なしで実装されます。

図1：カノニカルインセプションモジュール（インセプションV3）。

図2：簡略化されたインセプションモジュール

図3：簡略化されたInceptionモジュールの厳密に同等の再構成。

図4：Inceptionモジュールの「極端な」バージョン.1つの空間畳み込みがある 1x1コンボリューションの出力チャネル。