コンバージョン率の最適化 進化的計算による(Conversion Rate Optimization through Evolutionary Computation)
ABテストの自動化。当然考えつく内容。
もくじ
変換の最適化とは、登録者の購入など、できるだけ多くのユーザーが目的のアクションを実行できるようにWebインターフェイスを設計することです。このような設計は、通常、手作業で行われ、A / Bテストを通じて一度に1つのテストを行うか、または多変量テストを通して限られた数の組み合わせで行われ、膨大な設計スペースでわずかな数のデザインしか評価できません。は、進化的な最適化を使用してective webinterfaceデザインを作成する自動変換最適化システムSentient Ascendを採用しています。 Ascendは、他のものを識別するための設計要素間の相互作用を発見して利用することを可能にします。さらに、設計候補の評価は、並行してオンラインで、すなわち、多数の実際のユーザがシステムと対話することによって行われる。リード生成サイトlearnhotobecome.orgのケーススタディは、人間の設計を超えて改善が可能であること（つまり43％以上）が可能であることを示しています。したがって、Ascendは、大規模な並列インタラクティブな進化に基づいて大規模な多変量変換の最適化に近づくと見ることができます。
キーワード
コンバージョン最適化、電子商取引、インタラクティブな進化、オンライン進化、デザイン
1 はじめに
電子商取引では、カジュアルなブラウザから有料の顧客にできるだけ多くのユーザを変換するウェブインタフェース（すなわちウェブページおよびインタラクション）を設計することが重要な目標である[1、11]。シンプルさと一貫性を含むいくつかのよく知られたデザイン原則がありますが、ページの要素間の予期しない相互作用もあります。見出し、画像、賛辞などの同じ要素は、1つのコンテキストではうまく動作するが、他のものではうまく動作しない可能性があります。結果を予測するのは難しく、特定のページを改善する方法を決定することも難しくなります。コンバージョン率の最適化やコンバージョンサイエンスと呼ばれるIT分野全体がこのエリアで浮上しています。 「エバンダード法」はA / Bテストであり、同じページの2つの異なるバージョンを設計し、それぞれのユーザーにそれらを表示し、どのようにそれぞれ変換するかに関する統計を収集する[8]。プロセスは、ドメインと変換の最適化についての人間の知識を設計に組み込み、その結果をテストすることを可能にするプロセスである。結果を忘れてしまうと、新しいデザインを比較して徐々に改善することができます。 A / Bテストプロセスは、時間がかかります。
このようにしてページデザインのごくわずかな部分しかテストできず、デザインの微妙なやりとりが気づかずに利用される可能性があります。 A / Bの代わりに、多変量テストがあります。ここでは、いくつかの要素のすべての値の組み合わせを一度にテストします。このプロセスはこれらの要素間の対話を取得しますが、通常は少数の要素のみが含まれます（例2-3）。設計空間の残りの部分は未解決のままです。この論文では、進化的計算に基づく変換最適化のための新しい技術について記述しています。 SentientTechnologiesによる変換最適化製品Ascendは、2016年9月以降顧客を募集している多数の電子商取引サイトに導入されている技術である[13]。 Ascendは、顧客設計の検索スペースを出発点として使用します。これは、変更可能なWebページ上の要素のリスト、およびヘッダーテキスト、フォント、および色、背景イメージ、覚え書きテキスト、およびコンテンツオーダーなどの可能な代替値で構成されます。ウェブページの候補を自動的に生成し、進化的な最適化によってそれらの候補を改善する。電子商取引サイトは大量のトランザクションを持っているので、多数のリアルユーザと一緒にライブ評価を行うことができる並行して。 Ascendの進化的プロセスは対話型進化の大規模並列バージョンとみなされ、数週間でウェブデザインを最適化することができます。アプリケーションの観点から、Ascendはウェブページ設計の大規模多変量最適化のための新規な方法である。アプリケーションに応じて、このアプローチでは20〜200％の改善が見られています[13]。ペーパーはAscendの基礎となるテクノロジを説明し、ユースケースの例を示し、電子商取引の最適化における進化的計算の将来の機会を示します。
2 背景
近年の電子商取引の爆発的な成長に伴い、まったく新しい分野の研究が登場しています。主なものの1つは、変換速度の最適化です。つまり、ウェブインタフェースを、カジュアルブラウザから実際の顧客に変換する際に可能な限り効果的に設計する方法を検討することです。変換は、購入、購入リストの登録、メール、ウェブサイト、デスクトップ、モバイル、ソーシャルメディアアプリケーション[1、11]の他のリンクのクリックなど、ウェブインターフェース上で所望のアクションをとることを意味する。コンバージョン数は通常クリック数で測定されますが、サイトでの収益や所要時間、サイトへの戻り率などの指標も測定されます。コンバージョンは現在、労働集約的な手動プロセスで最適化されています。ウェブデザイナーのデザイナーはマーケティング担当者がデザインを作成し、それをユーザーに向けてA / Bテストプロセスでテストします。彼らがどれだけうまく変換するかを測定する。変換率が統計的に有意であれば、be ?? erdesignが採用されます。設計は、それからドメインの専門知識を使ってそれを変えて、さらに改善することができます。創造とテストの別の数ラウンドで、それを変えることができます。変換の最適化は、電子商取引の急速な構成要素です.2016年、 ]。その投資の多くは売り上げにつながりません。コンバージョン率は通常2〜4％です。 2014年には、トップ10,000の電子商取引サイトのわずか18％がコンバージョン最適化を行い、2017年1月には30％がそうしました[4]。 Optimizely、Visual Web Optimizer、Mixpanel、Adobe Target [4]など、利用可能な変換最適化ツールが主流になっています。 esetoolsを使用すると、設計を簡単に行うことができ、ユーザーを割り当てることができ、結果を記録し、重要度を測定できます。プロセスにはいくつかの制限があります。第一に、ツールはectiveなWebインターフェイスを設計する作業を容易にしますが、designisは依然として人間の専門家によって行われています。したがって、ツールは、専門家のアイデアを援助し、斬新なデザインを探求し、発見するのを助けるための支援を提供する。第2に、プロセスの各ステップは統計的に重要なので、いくつかの設計だけをテストすることができます。それぞれの改善ステップは山登りの1ステップに相当し、このようなプロセスはローカルの最大値に固執する可能性があります。第4に、このプロセスは、偽陽性を減らすことを目的としており、したがって、偽造を増加させる。すなわち、良いアイデアを有するデザインが見落とされる可能性がある。ツールは多変量テストのサポートを提供するが、実際にはいくつかの組み合わせ（例えば、2つの要素の可能な値、または3つの要素の3つの可能な値）をテストすることができる。結果として、それは、要素間の相互作用を発見して利用することである。
進化的最適化は、これらの限界に対処するのに適しています.Evolutionは探査のための効率的な方法です。進歩には弱い統計的証拠しか必要ではない。その確率的自然現象は地元の最大値にとどまった。良いアイデアは徐々に広まります。最も重要なのは、進化は前向きな相互作用を探します。例えば、Ascendは、ボタンが緑色になる必要がありますが、透明でかつ theheaderが小さいフォントで、かつヘッダーテキストが整列している場合のみのみを指定します。そのような相互作用は、A / Bテストを使用して、結果に人間洞察を必要とすることによって、非常に大きく変化する。 Evolutionはこの発見を自動化します。したがって、Ascendは対話型進化[12,15]とクラウドソーシング[2]、[9]のアプローチに関連しており、候補者の評価はオンラインで行われます人間のユーザによって。しかし、通常のインタラクティブ進化のパラダイムでは、人間の評価者が比較的少なく、候補者を選択して候補者のプールを明示的に評価することが課題です。対照的に、Ascendでは、膨大な数の人間のユーザが候補者と相互作用しており、それらの行為（すなわち、変換または非変換）から暗黙的に導かれる。
3 昇順メソッド
Ascendは、可能なWebインターフェイスのスペースを定義し、そのスペースを適切にカバーして人口を初期化し、候補者にインテリジェントに割り当てることで、悪いデザインを早期に排除し、候補をオンラインで並行してテストします。これらのステップのそれぞれについて、このセクションでより詳細に説明します。 3.1検索スペースの指定 Ascendの出発点はwebdesignerの検索スペースです。 Ascendは、単一のウェブページのデザインを最適化するため、またはランドリングページ、選択肢、ショッピングカートなどの複数のページで構成されるファンネルを最適化するように設定できます。そのような空間ごとに、デザイナーは、そのページの要素とそれらが取ることができる値を指定します。例えば、図1のランディングページの例では、ロゴサイズ、ヘッダーイメージ、色、内容の順序はそのような要素であり、それぞれ2-4の値をとることができます.Ascendは可能な組み合わせの空間で良いデザインを検索しますこれらの値。スペースはコンビナトリアルであり、非常に大きくてもよい。この例では1.1Mです。興味深いことに、Webページ最適化を進化のための良いアプリケーションにするのは、まさにこの複合的性質です。人間のデザイナーは、どのような価値を使用するかについての洞察力を持っていますが、それらの組み合わせは、予測することが難しく、 。 3.2進化の初期化 典型的な設定は、ウェブインタフェースのための現在の設計が既に存在することであり、Ascendの目標はその性能を改善することである。ウェブインタフェースの現在の設計は、制御として指定されており、実際のユーザーと評価されるため、探査は顧客にとってコストがかかります。したがって、候補者は進化の至る所で合理的によく成り立っていることが重要です。初期の人口が無作為に生成された場合、多くのWebインターフェースはうまく機能しません。代わりに、最初の集団はコントロールを出発点として作成されます：1つの要素の値を体系的に変更することによって候補が作成されます。小さな検索空間では、初期集団は対照からの1つのすべての候補からなる。大きな検索スペースでは、人口はそのような候補の集合のサンプルです。このような初期化を行うと、ほとんどの候補者がコントロールと同様に機能します。候補者は探索空間の包括的なサンプリングを表し、進化の出発点となります。
図1：Webページデザインの例と要素
この例では、13個の要素のそれぞれが2〜4個の可能な値を持ち、その結果、1.5Mの組み合わせが得られます。
図2：Web Interfaceの候補に対する遺伝的エンコーディングと操作。 ページは、要素値と1ホットエンコーディングとの連結として表される。 クロスオーバと突然変異は、これらのベクトルを通常どおり操作し、新しい値の組み合わせを作成します。
図3：オンライン進化システムの全体的なアーキテクチャ 各相互作用の結果（すなわち、ユーザが変換されたか否か）は、設計の1つの評価を構成する。 多くのそのような評価ijは、異なるユーザjと並行して実行され、平均して設計がどれほど良好であるかを推定する。 すべてのデザインが評価されているため、アダプテーションプロセスは悪いデザインを破棄し、最良のデザインのバリエーションを多く生成します。 プロセスのために割り当てられた時間が費やされるまで、生成、テスト、および選択のプロセスが繰り返されます。 これまでに発見された最良の設計は、学習プロセスの結果として出力される。 このように、ライブオンラインテストを通じてウェブインターフェースのための良いデザインを発見します。
3.3 進化プロセス
各ページは、図2の2つの例のページ（le ??側）に示すように、ゲノムとして表されています。 （2つのゲノム中の要素の再結合、中期）、突然変異（ランダムに変化する1つの要素、すなわち右側にある）を実行して新しい候補を作成する。現在のインプリメンテーションでは、現在の母集団から∞の春の候補を生成するために、按分比例選択が使用されます。 n個の候補者の現在の人口から、新しいn個の候補者がこのように生成される。評価は高価であり、ほとんどの顧客が支払う必要があるので、進化中にそれらを最小化することは有用である。各ページは、それが有望であるかどうか、すなわち、次世代の親として扱うべきかどうか、または廃棄すべきかどうかを判断することができる程度にのみテストされる必要がある。したがって、年齢階層化に類似したプロセス[7、14]は、評価を割り当てるために使用されます。各世代において、各新しい候補および各古い候補は、2000などのユーザインタラクションの少数（成熟度）で評価される。上位n個の候補が保持され、bo | omnは破棄される。このようにして、悪い候補者はすぐに排除される。優れた候補者は漸進的な評価を受け、その評価値が増加します。このプロセスでは、昇順に並んでいる要素の組み合わせを知り、次第に最も盛んなデザインを中心に検索を集中します。したがって、検索スペースのごくわずかな部分だけをテストする、つまり数百万または数十億の代わりに数千のページをテストすることができます。
3.4 オンライン進化
シンプルなケース（可能な設計のスペースが小さい場合）では、システマティック・サーチ、ヒル・クライミング、または補足学習などのより簡単なメカニズムによって最適化が行われる可能性がありますが、集団ベースのアプローチは特に効果的です。並行して行われます。他のユーザーが同時にサイトと対話するため、全人口を一度にテストすることができます。また、各設計を統計的にテストする必要はありません。弱い統計的な証拠だけが検索で進行するのですか？このプロセスでは、A / Bまたは多変量テストでは不可能な短時間で数千のページ設計をテストすることができます。図3は、システムの全体的なアーキテクチャを示しています。代替設計（中心）の集団は、実際のユーザーとの評価に基づいて適合する（右）。多くのユーザーが並行してデザイン（中心）の評価を評価しています（le ??）。進化プロセス（右）は新しいデザインを生み出し、最終的に最高のデザインを出力します。システムはまた、どの設計がどのユーザに示されたかを把握しており、一定の時間内（例えば、同じ日）に戻ると同じ設計を見ることができる。
図4：制御設計と3つの最も進化した設計 60日間の599,008人のユーザインタラクションの進化から、検索ウィジェットのデザインは、対照よりも46.6％（5.61％対8.22％）改善されていることが判明しました。 改善の大部分は、ウィジェットに注意を引く色の組み合わせを発見することに基づいており、行動の呼び出しを明確にしています。
4 ケーススタディ
Ascendがどのように機能するかの例として、ABUV Media、Inc.が設計したユーザーをオンライン教育プログラムに結びつけるためのリードジェネレーションサイトであるlearnhowtobecome.orgのWebインターフェイスを最適化するケーススタディを考えてみましょう。 2016年にサイトのデスクトップを更新しました。このページの最初のデザインは、 Optimizelyなどの標準ツールを使用して手作業で設計されていました。実験の間のそのコンバージョン率は、そのようなWebインターフェイスの典型である5.61％であることが判明しました。このページに基づいて、Webデザイナーは、それぞれ2つのトーン値を持つ9つの要素を思いつき、381,024の潜在的な組み合わせをもたらしました（図5）。はるかに大きい探索空間が可能であるが、この例は現在の多くの現場と共通の中間の空間を表す.37ページの候補の初期集団は、対照ページの各値を代替値の1つと系統的に置き換えることによって形成された。セクション3.2。進化は60日間、または4世代にわたって実行され、合計で599,008人のユーザーインタラクションを持つ111人のユーザーをテストします。この時点での候補者の推定転換率を図6に示した。上位20名の候補者の転換率を図7に示した。図7は、進化が発見に成功したか否かを示している。制御よりも候補が多い。独立した検証として、図4の3つの最上位の候補をOptimizelyを使用してA / Bテストにかけました。 6500人のユーザインタラクションの中で、最良の候補は、99.5％以上の有意差（37.1％と28.2％）でコンバージョン率を43.5％増加させることであった。コントロールとは異なり、トップ候補者は明るい背景色を利用してウィジェットを描画します。背景はバナーとは異なるが、それと競合しないバックグラウンドと青いバナー（その色は？xed）との間の重要な相互作用である。さらに、色の付いたバックグラウンドを考えると、黒いテキストの白い背景がアクションのための最も明確な呼び出しを提供しました。このような相互作用を事前に認識するのは難しいですが、進化はそれらを早期に発見し、後の候補の多くはそれらに基づいています。他の要因、例えば行動を促すための呼び掛け（「情報を要求する」ではなく「開始する」および「プログラムを検索する」など）は、それをさらに増幅させる。より進化した進化とより大きな探索空間（例えば、バナーの色や他の選択肢を含む）が結果をさらに向上させる可能性があることを示唆している。
図5：learnhowtobecome.comのケーススタディの要素と値を示す、Ascend実験を設計するためのユーザーインターフェイスのスクリーンショット 2つから9つの異なる値を持つ9つの要素は、それぞれ381,024の潜在的なWebページデザインをもたらします。 各要素の最初の値がコントロールとして指定されます。 現在のウェブインターフェース設計に典型的な中間サイズの問題である。
図6：60日間のオンライン・エボリューション・ランによる推定換算レート日はx軸にあり、変換率はy軸にあります。現在の最良候補、明るい青色の点（中央）、現在アクティブな候補の平均値、およびオレンジ色の点（下側）は、コントロールデザインの推定パフォーマンスを示します。区切られた区域は、95％の間隔間隔（観測された平均値を有する二項分布から）を表示する。暗い青色のピークは、新しい世代の始まりを示しています。このようなピークは、最初の数日間は新しい候補者がわずかな回数しか評価されておらず、そのうちのいくつかはランダムなチャンスで推定される確率が非常に高いためです。その結果、2000年のユーザーインタラクションの成熟時代推定値は低くなり、間隔は狭くなる。エリート候補は、3.3節で説明したように、いくつかの世代にわたってテストされ、最終的には狭い間隔が得られます。後世代の最良の候補者の推定転化率は、対照よりも有意に高く、進化がより良い候補を発見するのに有効であることを示唆している。興味深いことに、アクティブ集団平均は対照よりも高く、この実験ではパフォーマンス上のコストは発生しませんでした。
図7：上位20候補の推定転換率vs. 候補は、図6のものに対応する数字を用いてx軸に識別される.θeyは、それらの推定変換率に従って順序付けられる。 これらの候補者はすべて、95％レベルのコントロールよりもはるかに優れています。 43.5％の改善を示した独立したA / Bテストを実施した結果、最良のもの（右のもの）は46.6％優れています。
