先日、友人に「Baiyang、ウェブクローラーを使ったことある？」と聞かれました。私は「いいえ」と答えました。実は使ったことがあるんです。あなたは使ったことがありますか？

インターネット業界、特にウェブサイトの最適化やプロモーションに携わっていない方は、「ウェブクローラー」という言葉を聞いたことがないかもしれません。ここで私が言及しているのは、文字通りのウェブクローラーではなく、検索エンジンがインターネット上のウェブページをクロールする仕組みを比喩的に表現したものです。

ウェブクローラーと検索エンジンの仕組みにはどのような関係があるのでしょうか？SEOを効果的に学ぶには、検索エンジンの原理を理解する必要があると多くの人が言うのはなぜでしょうか？今日はBaiyang SEOが分かりやすく解説します。

検索エンジンはどのように機能するのでしょうか?

1. 検索エンジンとは何ですか? 市場にはどのような種類の検索エンジンがありますか?

検索エンジンとは、簡単に言えば検索ツールです。百度（バイドゥ）や捜狗（ソゴウ）のような総合検索エンジンと、画像検索に特化した華弁（ホアバン）のような垂直検索エンジンに分けられます。また、ショッピング検索エンジン、ソーシャル検索エンジン、サイト固有の検索エンジン、あるいはインターネット全体を網羅する検索エンジンにもなります。

SEOの観点からは、主にGoogle、Yahoo、Bing、Baidu、Sogou、360などのPC検索エンジンを指します。モバイル検索エンジンには、Baidu Mobile、Shenma Search、Sogou Mobileなどがあります。また、Toutiao Search、WeChat Search、Alibaba Quark Search、Huawei Searchといった新しく登場した検索エンジンもあります。

2. 検索エンジンの仕組みを知るにはどうすればいいですか?

当時、会社では検索エンジンの仕組みの基本原理について研修を受けていました。その後、中国のプロジェクトに携わるようになった際は、主に百度（Baidu）に焦点を当てていたため、「百度ウェブマスター最適化ガイド」と「百度検索エンジン動作原理」も読みました。さらに、プロジェクトを率いる実務経験を通じて、検索エンジンの仕組みへの理解を深めることができました。

3. 検索エンジンはどのように機能しますか?

ここで言う検索エンジンとは、主にGoogleに代表される英語系の検索エンジンと、Baiduに代表される中国語系の検索エンジンを指します。

実は、このことについては多くの人が以前にも書いています。例えば、かつて百度で働いていたインターネット界の大物、曹正（Cao Zheng）氏は4年前に「検索エンジンの仕組み」というポピュラーサイエンスの記事を書いています。私も当時コメントを残しましたが、おそらく最も多くの賛成票を獲得したと思います。しかし、ここでは白楊（Bai Yang）氏が分かりやすく解説します。

検索エンジンの動作原理は、主にクロール、前処理、ランキング付けで構成されています。下の図をご覧ください。

（画像出典：インターネット）

文章だけでは理解できない場合は、Baiyang SEOが分かりやすく解説します。検索エンジンのこれら3つの動作は、BaiduでもGoogleでも同じです。

ウェブクロールに関してですが、この記事の冒頭で述べたように、ウェブクローラーは様々な検索エンジンのスパイダーのようなものです。実に分かりやすい例えですね（笑）。例えば、ログバックエンドにあるBaiduのウェブクローラーはBaiduspider、ToutiaoのウェブクローラーはBytespiderと呼ばれています。

だから「見たことがある」と言ったわけです。ウェブサイトのログレコードをダウンロードすれば確認できます。これはSEOの基本です。簡単に言うと、ホテルを経営していて、毎日チェックインするゲストの記録がウェブサイトのログレコードになるようなものです。

検索エンジンの動作の最初のステップ：クロール

検索エンジンのスパイダーは、一般的に幅と深さの両方の戦略を採用しています。つまり、ホームページからカテゴリページ、記事ページへとクロールしていくか、あるいはリンクからリンクへと直接クロールしていくのです。例えば、ウェブサイトのrobots.txtファイルは、スパイダーが最初に訪れる場所であるため、多くのSEO専門家は、画像に示すように、サイトマップなどの情報もrobots.txtファイルに含めています。

もちろん、検索エンジンがコンテンツをクロールするのを受動的に待つだけでなく、クロールを容易にするために、独自の XML サイトマップやホームページを検索エンジンに積極的に送信する人もたくさんいます。

なぜサイトをクロールする必要があるのか​​疑問に思うかもしれません。検索エンジンをブロックできますか？もちろんです。例えば、TaobaoはBaiduのウェブクローラーをブロックしています。

検索エンジンの動作における2番目のステップ：前処理

前処理（インデックス作成とも呼ばれます）とは、検索エンジンが公開クロール可能なウェブページを一箇所で処理することです。これには、テキストの抽出、重複の削除、コンテンツの品質評価などが含まれます。ここで最も理解しにくい概念は、順方向インデックスと転置インデックスです。

簡単に言うと、順方向インデックスはキーワードを用いてインデックスを作成しますが、逆方向インデックスはファイル名を主キーとして用いるため、後者の方が比較的効率的です。処理後、データはデータベースに保存されます。

検索エンジンの動作における 3 番目のステップ: ランキング。

これは非常に重要です。検索エンジンの仕組みを理解する上で、まさに核心と言えるでしょう。検索エンジンのランキングの仕組みを理解すれば、なぜ自分のウェブページが上位にランクインしないのか、そしてなぜ他のページが上位にランクインするのかがわかるでしょう。

検索エンジンがランキングを決定する際に考慮する要素は数多くあります。Baiduの場合、関連性、権威性、適時性、重要性、リッチネス、人気度という6つの主要な要素が挙げられます。

ここまで読んでもまだ少し混乱していませんか？Baiyang SEOが分かりやすく解説します。関連性とは、例えば「XX Apple Store」というキーワードで検索した場合、「XX Apple の携帯 価格」や「XX Apple ニュース」といった検索結果は、ウェブページに「XX Apple Store」と直接記載されている検索結果よりも関連性が低くなります。

権威に関して言えば、簡単に言えば、校長と生徒、あるいは専門家と一般人の違いは、中央官報や一般ウェブサイトのニュースによる出来事の報道など、権威のほうが信頼される傾向があるということです。

タイムリーさに関しては、ユーザーの検索結果に表示されるコンテンツは、理想的には最新のものであるべきです。重要度は、ユーザーのキーワードとウェブページのコンテンツの関連性によって決まります。リッチネスとは、ページコンテンツの豊富さと、それがユーザーのニーズを満たしているかどうかを指します。

例えば、「魚のザワークラウトの作り方」と検索すると、あるページにはレシピが掲載されていますが、別のページにはレシピだけでなく写真や動画も掲載されています。さらに「魚の煮付け」といった関連レシピも掲載されているかもしれません。そのため、総合的に判断すると、後者の方が前者よりも上位に表示されることになります。お分かりいただけましたか？

検索エンジンの仕組みを理解することの重要性は何ですか?

「Baiyang SEO、検索エンジンの仕組みを知っても何の役に立つの？」と疑問に思う人もいるかもしれません。実は、SEO（検索エンジン最適化）について話すとき、検索エンジンのランキングルールはどれもほぼ同じだとよく言われます。その仕組みを詳細に理解すれば、ランキングをより効果的に向上させることができます。

例えば、Google SEOで優秀な成績を収めている人は、中国市場を調査した後にBaidu SEOでも成功する傾向があります。Baiyang SEOを例に挙げましょう。彼はGoogle SEOからスタートし、その後中国のBaidu SEOに移りました。B2B ECプラットフォームWeikuのバックリンク構築から始まり、2013年にはJieduobangプロジェクトのSEO最適化チームを率い、その後Taobao SEOなどにも携わりました。

何をすべきかだけでなく、なぜそれをすべきかを知る必要があります。私は技術的なバックグラウンドはありませんが、科学的なSEOを提唱するGuo Ping氏のブログを読んで以来、直感に頼るSEOアプローチからデータに基づいたアプローチへと進化しました。

簡単な例を挙げると、無料トラフィック、特にターゲットを絞った無料トラフィックが重要であることは誰もが知っています。Guoping氏が以前述べたように、SEOトラフィックは、全体のインデックス数 * 全体のランキング * 全体のクリックスルー率で決まります。したがって、ウェブサイト全体のインデックス数とキーワードランキングを向上させる方法は理解できます。検索エンジンの原理は、インデックスとランキングについて説明しています。

検索ランキングにどのように活用できるのでしょうか？

実は、Baiyang SEOはSEOを学び始めた当初から、この疑問について考え続けてきました。SEOを学ぶ目的は何でしょうか？それは、無料のトラフィックを獲得し、最終的に収益化することです。

そのため、Baiyang SEOの精密トラフィック生成実践トレーニングの第3段階では、従来のSEOランキングの基礎から始め、最近多くの人が関心を寄せているWeChat公式アカウントランキングとToutiao検索ランキングのコースを追加しました。

WeChat 検索ランキングを例にとると、まず最初に勉強して実践する必要があるのは、WeChat 検索ランキングのルールを見つけることです。

諺にもあるように、行動は言葉よりも雄弁です。Baiyang SEOの公式WeChatアカウントのランキングはその最良の証拠です。例えば、「SEOチュートリアル」を検索すると、私のアカウントはWeChat上の他のアカウントよりも上位に表示されます。私のアカウントにはキーワードが含まれていると言うかもしれませんが、それだけが要因でしょうか？

例えば、数日前、タイトルをたった4文字だけ変更した記事を再投稿しました。元のタイトル「ライティングチュートリアル：初心者から挫折まで」は、「半仏仙人、ライティングチュートリアル：初心者から挫折まで」に変更されました。すると、トラフィックと検索ボリュームが大幅に増加しました（画像をご覧ください）。

Toutiao SEOも同様に、ToutiaoやToutiao検索アプリで「SEOブログ、私の個人ウェブサイト」を検索すると、上位に表示されます。また、「動画アカウントの申請方法と開設方法」で検索した場合も、私のコンテンツが上位に表示されます。

WeChat、Toutiao、Xiaohongshuなどのプラットフォームの検索ルールを理解し、関連性の高いコンテンツを提供すれば、ターゲットを絞ったトラフィックを獲得できる可能性があります。ただし、継続的にテストを行い、結果をまとめることも重要です。

-終わり-