AとBという2つの広告クリエイティブがあり、どちらがユーザーをコンバージョンに導く可能性が高いかを判断したいと考えています。評価指標はコンバージョン率です。（コンバージョン率 = コンバージョン数 / インプレッション数）

実験の公平性を保つため、すべてのシステムに同じ予算が与えられ、正午に展開が開始され、真夜中に同時にシャットダウンされました。

これらの広告を半日実行した後、両方の広告セットの予算がほぼ使い果たされ、結果は次のようになりました。

A は合計 6,500 回の露出を受け、70 人のユーザーをコンバージョンし、コンバージョン率は 1.077% となりました。

B は合計 6,200 回の露出を受け、70 人のユーザーをコンバージョンし、コンバージョン率は 1.129% となりました。

広告スペシャリストの Xiao Li 氏は、結果を見て、素材 B のコンバージョン率が高かったと結論付けました。

この時点で、マーケティングディレクターのラオ・ワン氏は「今のところ、Aの方が高いと信じる傾向にあります」と述べた。

シャオ・リーは完全に当​​惑した様子で「なぜ？」と尋ねました。

老王はスターバックスのコーヒーを一口飲みながら説明した。「同じ広告でも、時間帯によってコンバージョン率は異なります。一般的に、午後のコンバージョン率は夕方よりも低くなります。日中はほとんどの人が忙しく、コンバージョンに至る可能性が低いからです。一方、夕方は誰もが自由なので、コンバージョンに至る可能性が高くなります。」

するとシャオ・リーはこう尋ねた。「君の言うとおりだ。だが、それがこの実験とどう関係があるんだ？」

オールド・ワン氏は続けた。「バックエンドで広告ボリュームを確認したところ、広告Aは午後にコンバージョン50件、インプレッション5000、夕方にコンバージョン20件、インプレッション1500でした。一方、広告Bは午後にコンバージョン20件、インプレッション2200、夕方にコンバージョン50件、インプレッション4000でした。実際には、広告Aのコンバージョン率は午後と夕方の両方で高かったのです。広告Bの方が高いと考えるのは、主に広告Bが夕方にしかコンバージョン率を達成できなかったからです。広告Bは弱い競合相手をターゲットにしていたため、広告Bの方が効果的だと勘違いしているのです…」

これを見ると、まだ少し混乱するかもしれません。確かに、個別に見ると A の方が高いですが、合計で見ると B の方が高いです... では、これをどのように解釈すればよいのでしょうか。

落とし穴1：シンプソンのパラドックス

上記の現象は、シンプソンのパラドックスの典型的な例です。つまり、特定の条件下では、2 つのデータ セットを個別に検討すると特定の特性が満たされますが、一緒に検討すると反対の結論に至る可能性があるということです。

これは他の仕事の分野でも頻繁に遭遇する現象であり、多くの場合、問題を引き起こします。

ほとんどすべての企業では、上司は部下に業務に関するさまざまなデータをまとめさせて報告させ、「全体」の状況を把握していると考えています。

しかし、かつて Google のデータの第一人者はこう言っていました。 「集約されたデータは往々にして単なるゴミの山であり、何の意味もありません。」

なぜそんなことを言うのでしょうか?

専門的な数学的分析はさておき、最も単純な言葉で言えば、こうだと思います。20匹の豚は20匹の豚、50本の木は50本の木です。しかし、もしそれらを足し合わせると（20 + 50 = 70）、70は意味をなさなくなります。それは何を意味するのでしょうか？何も意味しません。

コンパイルされたデータは、象徴的な報告以外には、多くの場合、他の意味を持ちません。

なぜ「象徴的」と表現されるのでしょうか?

なぜなら、報告業務の目的が意思決定を導くことであるならば、人々を罠に陥れる可能性が非常に高いからです。

上記の広告クリエイティブの例で示したように、マーケティングディレクターが怠惰になり、最終結果だけを見てしまうと、広告クリエイティブの品質を誤って判断してしまう可能性が高くなります。さらに悪いことに、その後の広告クリエイティブが「質の低いクリエイティブ」へと最適化されてしまう可能性もあります。

幸いなことに、彼は基本的なデータ分析スキルを持っていたので、この落とし穴を避けることができました。

したがって、現実的に明確な結論を導き出さなければならないとすれば、Aの方がわずかに高いと言えるでしょう。（もちろん、より科学的なアプローチとしては、実験を継続し、予算を増やし、期間を厳密に管理することで、誤差や異なる種類のデータの割合の差を減らすことが挙げられます。）

シンプソンのパラドックスは、広告以外にもさまざまなデータ分析活動で頻繁に登場します。コンバージョン率、維持率、資格率、負債比率、投資収益率など、比率を計算するほぼすべての統計に存在します。

では、データの集約によって生じる可能性のある落とし穴をどうしたら回避できるでしょうか?

重要なのは、次の 8 つの単語を覚えておくことです。異なるプロパティは別々に計算します。

落とし穴2：相関関係を因果関係と勘違いする

「ビールとおむつ」の話は皆さんも聞いたことがあるでしょう。相関分析の結果、企業はビールの売上とおむつの売上の間に強い正の相関関係があることを発見しました。そこで、売上を伸ばすために、ビールとおむつを近くに並べたのです。

もちろん、これは全く非現実的な作り話です。（この話はテラデータのマネージャー（おそらくマーケティングマネージャー）によって捏造されたもので、企業にデータサービスの購入を促すためにこの広告記事を執筆しました。）

ここで強調したい重要な点は、相関分析です。

今日、データは、従来の業界でもインターネット業界でも、企業にとって最も重要な資産の 1 つになっています。

そして、さまざまな企業のデータアナリストがほぼ毎日行っていることの 1 つは、成長の方法を見つけるためにさまざまな要素間の相関関係を分析することです。

例えば、ゲーム会社は、ユーザーがゲームをプレイする時間が長くなるほど、リテンション率が向上する傾向があることを発見しました。そのため、新規ユーザーのゲーム時間を増やすことで、リテンション率を大幅に向上させることに注力しています。

例えば、コンビニエンスストアは、モニタリング調査を通じて、顧客が店内を反時計回りに見て回る時間が長いほど、平均購入額が高くなることを発見しました。そのため、店舗設計やレイアウトにおいては、顧客が反時計回りに歩くように誘導するよう努めています。（右利きの人が多いため、反時計回りのレイアウトでは、一般的に右側に商品が多く並び、手が届きやすくなり、より多くの商品を手に取るよう促されるからです。）

相関分析によって、確かに多くの効果的な成長方法が明らかになることは否定できません。

ただし、相関関係に過度に依存すると、逆の結果になる場合があります。

たとえば、ソーシャル アプリではユーザー維持率を向上させたいと考えています。

研究者たちは、ユーザーが送信したメッセージの数と保持率の相関係数が最も高かったことを発見しました。

さらに、500件以上のメッセージを受け取ったユーザーとそうでないユーザーの間では、維持率に大きな差があることも発見しました。（ここで「500」はしばしば「マジックナンバー」と呼ばれます。）

そこで、リテンションを向上させるために、新規ユーザーが送信するメッセージの数を増やし、500 件を超えるようにすれば、リテンションを大幅に向上できるとチームは提案しました。

その後、彼らは「段階的な報酬タスク」（一定数のメッセージを送信すると報酬通知がトリガーされ、次の報酬タスクが発表される）を設定し、すべての新規ユーザーのメッセージ数を基本的に 500 以上に増加させました。

しかし、最終結果は、全体的な短期保持率は増加したものの、全体的な長期保持率は実際に減少したというものでした。

なぜこのようなことが起こるのでしょうか？メッセージ数と保持率の相関関係は明らかに最も高いのですが…

実際、これは相関関係を因果関係と取り違えている、あるいは因果関係を逆転させている典型的な例です。つまり、エントリ数が多いから保持率が良いのではなく、保持率が良いからエントリ数が多いのです。

前述のアプローチは、インセンティブを通じて短期的にはリテンションを向上させる可能性がありますが、報酬通知は、真に製品の使用に関心のあるユーザーにとって邪魔になる可能性があります。さらに、報酬というインセンティブは、ターゲットではないユーザー（プロモーションオファーを利用するユーザー）をアプリのダウンロードと使用に誘導し、全体的なユーザー質を低下させ、長期的なリテンションを低下させる可能性があります。

結局のところ、ユーザー維持のための最適化ソリューションは広告にあります。このアプリは Instagram をモデルにしており、主な機能は画像関連の機能だからです。

しかし、これまでの広告では、具体的な「機能や利用シーン」を強調することなく、「楽しくて面白い」という漠然とした訴求のみが行われていたため、ユーザーの期待と製品の間にミスマッチが生じ、定着率の低下につながっていました。

興味深いことに、これまでのデータ分析結果では、広告とリテンションの相関係数はそれほど高くありませんでした。

落とし穴3: 目に見えるデータだけを信頼する

上で述べた 2 つの落とし穴がデータとビジネスに対する理解不足によるものであるならば、3 番目の落とし穴は、データとビジネスに対する理解が深まるほど陥りやすくなります。

以前の記事でも述べたように、データの最大の問題は、データがある情報しか表示できず、データがない情報は表示できないことです。

クライン・クリステンセンは、これら 2 種類の情報をポジティブ データとネガティブ データと呼んでいます。

ポジティブデータとは、構造化され定量化可能なデータを指します。例としては、売上高、売上高、リテンション率、コンバージョン率、再購入率、利益率、有料ユーザー率、パフォーマンス指標、市場規模などが挙げられます。（Excelスプレッドシートに体系的に整理できるデータはポジティブデータとみなされます。）

一方、ネガティブデータとは、明確な構造を欠き、発見や定量化が難しいデータを指します。例えば、ユーザーの動機、感情、信念、習慣、そしてこれらの要素が時間の経過とともにどのように変化するかなどが挙げられます。

ビジネスは設立されたその日から、ますます多くの肯定的なデータを獲得していきます。どの製品が最も売れているか？どの製品が最も利益を上げているか？再購入率は？顧客の年齢構成は？市場シェアは？などなど…

ポジティブなデータが増えるにつれて、企業の内部業務への影響も大きくなります。営業部門はさまざまな製品の売上高と利益に基づいて生産計画に影響を与え、ブランディング部門は各カテゴリのオンラインのトレンドキーワードに基づいて製品のセールスポイントを調整し、広告部門は既存ユーザーの属性に基づいて新規ユーザーを正確にターゲットし、カスタマーサービス部門はユーザーからのフィードバックに基づいて製品の最適化を提案します...

全てが良い方向に展開し、徐々に「経験」として定着していくようです。

しかし、「経験の外側」の何かも醸成され、起こっています。

電子商取引を例に挙げると、アリババとJD.comが自社の成長経験に基づいて平均注文額の高い製品カテゴリーを拡大し、富裕層の獲得に競争し、特別割引やプロモーションデーを設け、戦略的に低価格市場から撤退する一方で、Pinduoduoは突如として台頭し、わずか数年でユーザー数で国内トップになった。

AlibabaとJD.comは実際には間違っていませんが、Pinduoduoはなぜそれほど特別なのでしょうか？なぜ地方都市のユーザーはTaobaoではなくPinduoduoを選ぶのでしょうか？

その方が安いからです。

Pinduoduo はなぜ安いのですか?

偽造品やコピー商品が多いからです。

では、なぜこれらの偽造品や粗悪品が Pinduoduo で販売されるのでしょうか?

一方で、他のプラットフォームでは販売が許可されていない一方で、Pinduoduo のグループ購入モデルでは、地元の市場に参加するのと同じように、より低い利益率でより多くを販売することができます。

はい、下層都市のユーザー（商店を含む）にとって、 Pinduoduo はオフライン ショッピング体験をオンライン化した最初のアプリです。グループ ショッピング、値下げ、偽造品や安価な商品の売買など、これらはすべて日常のオフライン ルーチンの一部です。

タオバオやJD.comは、彼らにとって街中のショッピングモールのようなもので、値段が高く、頻繁には行かない。（そして彼らにとって、高価なものを買うには、実物を見て安心感を得る必要があるのだ。）

これは「肯定的なデータ」と「否定的なデータ」とどのような関係があるのでしょうか?

まずは「ネガティブデータ」から始めましょう。

Pinduoduo はなぜこの市場機会を見出し、「ソーシャル e コマース」という新しい概念を発明できたのでしょうか?

実際、中小都市のユーザーにとって、ショッピング自体が一種の社会的交流の一形態となっている。人々は一緒に買い物に行き、馴染みの店員と値段交渉をして、1ポンドのピーナッツを買うとデーツ2個が無料プレゼントとしてもらえる。隣人のためにネギを買ってあげれば、隣人はお返しに塩を買ってくれる。そこには商品の取引と感情のやり取りの両方が含まれている。これが、Pinduoduoが観察したユーザーのショッピングに関するネガティブなデータだ。

したがって、 「ヘルプカットアンドデリバリー」や「ソーシャル電子商取引」などの概念は、人生と否定的なデータ（動機、感情、信念、習慣など）に関する洞察から生まれます。

Pinduoduo は、それらを単に携帯電話に移行し、それが起こりやすくしました。

Alibaba と JD.com に関しては、その中核チームが電子商取引ビジネスを理解し、データ分析に精通している必要があることは間違いありません。

しかし、なぜこのようなプロフェッショナルチームが Pinduoduo より先に市場チャンスをつかめなかったのでしょうか?

これには多くの理由があります。

成長を目指す企業や発展を目指すチームは、当然のことながら、利益率の高い分野、つまり富裕層、高価格帯の製品、そしてより頻繁に購入される商品に注力する傾向があります。（これは今日のPinduoduoにも当てはまります。）

一方、大量の肯定的なデータは、物流の効率をどのように改善するか、広告収入をどのように増やすか、ユーザーアクティビティをどのように増やすか、といった製品や指標への社内の注目を自然に集めます。

利益とデータを原動力に、ユーザーをより深く理解し、より良い製品とサービスを提供できるようになります。

しかし同時に、彼らは自社のユーザーではない人たちについてもより意識するようになるだろう。「低所得都市の人たちは典型的なeコマースのユーザーではないので、彼らに注意を払う余裕はない。」

しかし、まさにこのデータ主導で徐々に固まった偏見のせいで、市場は断片化され、占領され、さらには破壊されてきました。

-終わり-