この記事は約 3000 語で、読むのに約 20 分かかります。

ビジネスプロダクトマネージャーであっても、ユーザープロダクトマネージャーであっても、データを使用して問題を特定し、最適化の方向性を見つけることは重要なスキルです。問題を特定して明確に定義することは、製品の最適化における戦いの半分を勝ち取ることだと私は自信を持って言えます。多くのプロダクトマネージャーはデータ分析スキルが不十分ですが、これは基本的なデータスキル（SQLなど）が不足していることも一因ですが、明確なデータ分析アプローチが欠けていることも一因です。問題のどこから始めればよいかを知るには、データ分析アプローチだけでなく、製品の機能ロジックと使用シナリオを理解することも必要です。プログラマーの場合、コードを書いている最中にそのスキルレベルを判断することはできないかもしれませんが、バグが発生した場合、明確な戦略を持つ経験豊富なプログラマーは、経験の浅いプログラマーよりも分析とトラブルシューティングの効率が桁違いに高いことがよくあります。この効率の比較は、データ分析を行うプロダクトマネージャーにも当てはまります。

では、プロダクトマネージャーはデータ分析、問題特定、そして最適化の能力をどのように向上させることができるでしょうか？長年の経験と失敗を踏まえ、私の方法を共有したいと思います。以下の方法は主に商業広告のアプローチをまとめたものですが、賢明な学生ならご存知の通り、他の状況にも応用できます。

まず、関数の目的と具体的なビジネス ロジックを完全に理解します。

すべての製品機能には特定の目的があります。この目的を理解することで、何が合理的で何が不合理かを判断するのに役立ちます。また、ビジネスロジックを理解することで、比較分析時に問題を特定しやすくなります。例えば、同じ広告ライブラリ内の縦型動画広告を考えてみましょう。一方の広告はメディアAで2%以上のクリック率を達成しているのに対し、もう一方の広告はメディアBで0.5%にとどまっている場合があります。ビジネスロジックを理解していなければ、年齢、地域、ネットワーク環境に至るまできめ細かな分析を行っても、その違いを特定することは困難です。しかし、ビジネスロジックを理解し、製品を体験してみると、2つのメディアの広告の「クリック可能領域」に大きな違いがあることがすぐに分かります。同じ広告を毎日表示した場合、メディアAのクリック可能領域はメディアBのクリック可能領域よりもはるかに広く、問題は解決されます。

学生から、あるメディアの広告のクリック率（CTR）が非常に高いという意見を耳にすることがあります。しかし、これは正確ではありません。広告の究極の効率性は、広告の露出から得られるコンバージョン、つまり収益であり、クリック率（CTR）やコンバージョン率（CVR）といった複数の中間指標が関係します。中間指標を一つだけ改善するのは比較的容易です。例えば、クリック可能なエリアを増やすとCTRは急速に上昇しますが、CVRは必然的にある程度低下します。したがって、中間指標の一つだけを見るのではなく、ビジネスとそのロジックを包括的に理解するために、包括的な指標を見る必要があります。ビジネスの文脈を考慮せずに指標の最適化を語る人は、単に無責任です。

次に、製品のデータ チェーンの完全かつ明確な変換パス データを用意します。

データ分析において、非常に一般的で有用な分析モデルとして「ファネル分析モデル」があります。このモデルは、製品や機能の各段階におけるコンバージョン指標をファネルのように階層ごとに分解して分析します。これにより、ターゲットとコンバージョン損失をより明確に把握できます。例えば、検索広告収入＝ユーザーの検索ボリューム×広告表示回数×広告クリック率×平均クリック単価です。検索広告収入を増やすには、これらの中核要素に焦点を当てる必要があります。ユーザーの検索ボリュームを増やす方法：1) 検索技術を最適化して検索結果の精度を高める。2) 検索エントリチャネル、ウェブサイトナビゲーション、アドレスバーハイジャック（クライアントハイジャックとゲートウェイハイジャック。前者はブラウザやその他のクライアントソフトウェア、ツールバーなどを含む）。3) Baidu Knows、Baidu Encyclopedia、Baidu Wenkuなどの高品質なコンテンツを制御して競争上の障壁を築く。これらの対策を講じ、検索エントリポイントとコンテンツを制御することで、ユーザーの検索ボリュームを大幅に増加させることができます。

広告露出を高めるために、商業キーワードとトレンドキーワードは既にクライアントが十分にカバーしているため、最適化の方向性はロングテールキーワードに絞られます。精密なキーワードマッチング広告からインテリジェントなあいまい一致まで、ロングテールキーワードのカバー率が大幅に向上しました。さらに、テキスト関連キーワードから「意図」関連キーワードを徐々に追加することで、広告検索語句のマッチングを効果的に拡大できます。例えば、Facebookで検索するとInstagramがヒットするなどです。その他の指標も継続的に分析する必要があります。これにより、製品ロジックとビジネスロジックに関する思考と分析アプローチが形成されます。

余談ですが、百度（バイドゥ）による知乎（ジーフー）への投資やバイトダンス（ByteDance）による滬東百科（Hudong Baike）への出資は、いずれも企業が自らコンテンツバリアを構築している例です。コンテンツは検索の基盤であり、特にモバイルインターネット時代の情報サイロ化という文脈においてはなおさらです。今日頭条（Toutiao）の親会社であるバイトダンスが検索市場への進出を発表する8ヶ月前、私は会社説明会で、バイトダンスが今後1～2年以内に検索市場に参入することを確信していると述べました。バイトダンスは長年にわたり、ニュースや動画といった膨大なコンテンツを蓄積してきたからです。コンテンツは検索の基盤であり、防御バリアでもあるため、コンテンツから直接検索市場に参入することは非常に理にかなっています。

では、近年人気のフィード広告（ページビュー数（PV）×広告表示率（読み込み率）×クリック率（CTR）×クリック単価（CPC））で、どのように収益を上げていくのでしょうか？また、ファネルの各段階が適切かどうか、ファネル分析を行っていただけますか？

上記の分析は、広告におけるより広範なコンバージョンパスのみを対象としています。異なるシナリオに合わせて分析を絞り込むには、より詳細なデータが必要です。例えば、ゲームアプリのコンバージョンファネルは、広告PV * CTR * CVR（コンバージョン率） * CPA（アクティベーション単価）で表されます。CVRには、アプリのランディングページの開封率、アプリの初期ダウンロード率（ダウンロードボタンのクリック率）、アプリのダウンロード成功率なども含まれます。これらの詳細なデータポイントは、異なるネットワーク条件下でどのように機能するのでしょうか？データパスを異なる環境間でセグメント化し、ファネル分析を行うことで、全体的な最適化の方向性と戦略を特定することができます。

III. 実際の値と推定値のギャップの分析

広告は「予測」に大きく依存する科学です。ユーザーが実際に広告に接触する前、クリックスルー率（CTR）予測、コンバージョン率予測、契約広告のトラフィック予測など、すべての指標は予測に基づいています。全体的な広告戦略は、これらの予測データに基づいて構築されます。私たちは、この「実データ」を用いて、ユーザーの広告行動のコンバージョンファネルを分析することがよくあります。しかし、「予測」の影響を見落としがちです。予測はランキングに影響を与え、ランキングは掲載順位に影響を与え、最終的には広告システム全体の収益に影響を与えます。では、このデータはどのように分析すればよいのでしょうか？直接的なアプローチの一つは、「実数値」と「予測値」のギャップ（またはバイアス）を分析することです。例えば、予測されたCTRと実際のCTRの差はどれくらいでしょうか？予測されたコンバージョン率と実際のコンバージョン率の差はどれくらいでしょうか？これにより、より多くの情報が明らかになります。例えば、最上位の広告の予測値は過大評価されている可能性があり、2位の広告の予測値は過小評価されている可能性があります。予測値を修正することでランキングの精度が向上し、より高い価値が得られ、最も広告価値の高い広告の露出を優先することができます。実際の値と推定値を比較した後、予測モデルの主要なパラメータを確認し、見落とされている主要な要因がないか確認する必要があります。予測モデルは非常に複雑で、多くの製品マネージャーにとって理解が難しく、ブラックボックスと考えることができます。しかし、製品マネージャーは製品や広告を日常的に使用する中で、主要な要因の影響を観察することができます。たとえば、ユーザーが広告を繰り返し表示した後、クリック率はどのように低下​​するでしょうか？この要因はモデルに組み込まれていますか？また、どのように修正できますか？広告の価格設定モデルには、CPM、CPC、CPA、またはOCPM、OCPCなどがあります。広告のランキングロジックに関しては、予測モデルへの依存度が低いCPM広告を除き、その他は広告システムの予測機能に大きく依存しています。しかし、実際にはCPM広告は契約ベースの広告であることが多く、「ブランドとパフォーマンスの融合」という現在の広告目標においては、広告効果の予測能力も非常に重要です。そのため、推定値と実績値の差を綿密に分析することが依然として非常に重要です。

IV. 平均と数値分布

ライフスタイルデータであれ製品データであれ、データは簡単に平均化されてしまいます。例えば、テンセントの第2四半期決算発表後、テンセントの平均月収は7万元だと多くの人が言っていました。残念ながら、多くの人が平均化されてしまったのです。そのため、製品分析においては、このような平均化されたデータには注意が必要です。例えば、ニュースフィード製品において、ユーザー1人あたりの平均ニュース閲覧数が現在90件だとすると、閲覧数を増やすためには、ユーザー間での閲覧ニュースの分布とユーザープロファイルを分析する必要があります。このようにして、どのようなユーザーにどのようなシナリオでどのようなサービスと価値を提供するかという製品設計の原則に基づいて、異なるユーザーグループ間でコンテンツ消費をターゲティングし、増加させることができます。広告の例に戻ると、広告製品のフィルレート指標をターゲットとする場合、一般的に完全なフィルレートを達成することは困難です。例えば、動画ニュースフィードシナリオにおける広告のフィルレートは80%程度になるかもしれません。フィルレートの向上は、単に広告主が不足しているだけでは不十分です。平均値にとらわれず、データの分布にも着目する必要があります。特定の製品には、それぞれ独自の分析が必要です。具体的には、年齢層、ユーザープロファイル、ユーザーの行動パターン（広告リクエスト数など）ごとにフィルレートを分析する必要があります。例えば、多くのゲーム会社は広告掲載に年齢制限を設けています。例えば、「Legend of Mir」のような伝説的なゲームは、25歳の男性をターゲットとしています。これは、彼らが広告費を消費する可能性が高いためです。このような分析によって、効果的なターゲット設定が可能になります。問題を特定し、明確に定義することが、製品最適化の鍵となります。

つづく...