インフィニティソリューションズ株式会社ブログ

ウェブアプリから当てずっぽうをなくすA/Bテスト

A/Bテストとは、画面レイアウト、画像、テキスト等、配信するパターンを複数用意し、それらを平行して公開、それぞれのクリック率やコンバージョン率から、どういうパターンが有効化を決めていこうというもの。このA/Bテストをもっとウェブアプリで活用すべきだと、Alex Handy氏がhttp://www.sdtimes.com/about/AlexHandyで述べている。

A/B testing removes guesswork from Web apps(ウェブアプリから当てずっぽうをなくすA/Bテスト)

‘Continuous integration isn’t only pushing developers to release more often, it’s enabling them to use A/B testing more effectively.  Companies like Omniture, SitesSpect and Webtrends have all pushed out A/B testing software to help developers make better choices. And that’s the promise of A/B testing: no more guesswork.’

「継続的インテグレーションによって、開発者は何回もリリースさせられるが、A/Bテストをより効果的に行えるようになるということも意味する。Omiture社、SitesSpect社、Webtreds社などの企業は、開発者がよりよい選択ができるよう、A/Bテスト・ソフトウェアを推進している。そしてそれこそがA/Bテストの良いところだ。つまり、当てずっぽうをなくすこと。」

Swrve New Media

 

Webtrends社の北米地区最適化ソリューション販売ディレクターのBob Garcia氏によれば、A/Bテストをうまく使えば、利益に大きなプラスの影響があるという。

‘He told the story of a recent test consulting engagement Webtrends had with a major motorcycle retailer. “We worked with them on tests for their checkout process. They started with little tests in their existing site, like changing button location, the size of the text, and adding content. They did this incrementally. Some of the tests didn’t derive statistical differences, but then they went and built an entirely separate, parallel checkout process. When they did that, they saw an improvement, which has translated into US$2.5 million in extra revenue by reducing abandonment rates. That’s a great use case where A/B testing is really most useful, in testing really big concepts.”’

「最近Webtrends社がテストのコンサルテーションで関わったメジャーなバイク販売店についてGarcia氏が語ってくれた。『チェックアウト・プロセスんのテストの仕事だった。販売店では、既存サイトの小規模テストからスタートしていた。例えば、ボタンの位置とか、テキストのサイズとか、コンテンツの追加とかだ。これをちょっとずつ行っていたのだ。テストによっては、統計的に意味のある違いを見出せなかった。そこで、完全に独立平行したチックアウトプロセスを作ったのだ。これを行ったところ、改善が見られ、離脱率を減らすことにより、250万ドル(約2億円)の売り上げ増となったのだ。これはA/Bテストが本当の最も役に立つという非常に良いユース・ケースだ。すなわち、大きな概念をテストしてみるということだ。」

‘Thus, most of the work in A/B testing is designing the alternative layouts and deciding what to test. Garcia said A/B testing is much more effective on large changes rather than simple ones like button relocation and text adjustments.’

「従って、A/Bテストの労力の大半は代替レイアウトをデザインし、何をテストするかを決めることだ。Garciah氏いわく、A/Bテストはボタンの位置やテキスト調整などの単純なものよりは、もっと大きな変更に対して行った方がより効果的だ。」

Swrve New Media社のCEOで共同創設者のHugh Reynolds氏によると、A/Bテストがミドルウェアになるかもしれない。Swrve New Media社はFacebookゲームのミドルウェアをSaaSで提供している。

Reynolds氏によると、これは製品担当マネージャに最適のツールだと。なぜなら、バグを呼ばず、再デプロイも不要、開発者やITアシスタントの関与さえいらずに、アプリケーションのパフォーマンスを微調整できるからだ。

— 例えばゲームソフトウェアであるパラメータをちょっと変えてテストしてみたい、なんて思っても、通常そう簡単にはいかず、断念せざるを得ない場合が多い。しかし、

‘But Swrve New Media allows such substitutions to be performed quickly from a Web interface. Developers add tags into their code where A/B tests can be performed, and the Swrve New Media interface allows for a simple point-and-click substitution on the basis of user identity, percentages or other factors.’

「Swrve New Mediaなら、そのような変更は簡単にウェブインタフェースで行える。開発者は、A/Bテストが行えるよう、コードにタグを追加する。後はSwrve New Mediaのインタフェースで、ポイント&クリックの操作だけで、ユーザID、割合、その他のファクターで変更可能だ。」

— 全ユーザ一斉に変更ではなく、ある条件に合致した一部のユーザに対してのみ適用や、一定割合などの、平行テストが可能というわけだ。

— ちなみに最近このA/Bテストと、多腕バンデット(Multi-Armed Bandit)アルゴリズムとどちらが効果的かの比較が行われたらしい。一腕バンデット(One-Armed Bandit)とはスロットマシンのことを意味し、多腕バンデット問題とは、複数のスロットマシンがあった場合、単純に全台に平均的に賭けたのでは儲からないので、どのマシンに賭ければいいかという問題を解く確率論。ブロガーChris Stucchio氏の話として、多腕バンデットなら、有限回分析のアルゴリズムなら単純なA/Bテストより優位な結果を得られるが、その他はダメらしい。