序文

適切なrobots.txtファイルを作成すると、ページのインデックス登録が速くなり、ウェブサイトのリソースを節約できます。ウェブサイトを公開する前に、インデックス登録を優先するページを計画し、対応するrobots.txtファイルを作成してください。

目次

01. 前提条件: コラムの計画

02. ロボットの標的

03. 実践デモンストレーション

最後に

01 前提条件: 計画セクション

ウェブサイトを公開する前に、キーワード分析を実施して、メインキーワード、フレーズキーワード、ロングテールキーワードを決定する必要があります。

次に、キーワードデータベースを構築し、これらのキーワードを配置するためのセクションを計画します。レイアウトが完了したら、次のステップはウェブサイトのクロールプロトコル（ロボット）を作成することです。

しかし、robots.txtを書く前に、明確な目標を設定する必要があります。その目標とは、カテゴリー計画です。カテゴリーを計画すれば、検索エンジンのスパイダーがクロールすべきカテゴリーとすべきでないカテゴリーが自然にわかるようになります。

02 ロボットの標的

robots.txt ファイルはサイト専用に作成する必要があります。無計画に作成すると、小さな SEO 問題が発生し、最終的には逆効果になる可能性があります。

では、robots.txtは具体的にどのように記述すればよいのでしょうか？伝統的な企業である【鹰吉派】のウェブサイトを例に挙げてみましょう。

イーグル・ジパイ公式サイト

このウェブサイトのホームページには9つのキーワードが含まれています。最初の6つはビジネス関連で問題ありませんが、最後の3つは問題があります。サイトマップを見てみましょう。このレイアウトはランキングに悪影響を及ぼし、2つの問題を引き起こしています。

EagleJipai公式サイト robots.txt

多数のオブジェクトを取得すると、スパイダーとサーバーのリソースが大量に消費されます。

1. 這わせる物が多すぎて重量が分散しやすくなります。

2. 把握するための明確な焦点が欠如している。

では、どのように記述すればよいのでしょうか? 詳細はセクション 3 で説明します。

主要な焦点を明確に特定することが重要です。

03 実践デモンストレーション

1. クロールするオブジェクトの数を減らす

先ほどセクションプランニングについて説明しました。ここでは9つのセクションがありますが、最後の3つは不要なので非表示にする必要があります。目標は、検索エンジンのスパイダーが最初の6つのセクションのみをクロールするようにすることです。正しい構文は次のとおりです。

最後の3列を非表示にする

2. 包含における明確な焦点が欠けている。

スパイダーはウェブサイトのデータをクロールする際に独特の好みを持っています。左から右、上から下へとクロールするのです。

そのため、クローラーにインデックス登録したいページのヒントを与えましょう。クローラーがヒントを受け取ると、インデックス登録の大まかな方向性がわかり、インデックス登録プロセスがより効率的かつ迅速になります。

プロンプトは、これらの 6 ページをクロールするように指示します。

最後に、robots.txt ファイルを次のように変更し、確認してから、Web サイトのルート ディレクトリにアップロードします。

公式サイト上の修正されたrobots.txtファイル

上の画像では、6つのページが検索エンジンのクローラー向けの6つの提案を表していることを明確に示しました。ただし、具体的なビジネスニーズに基づいて、1つの提案のみを記述することをお勧めします。

このページはウェブサイトの最もコアとなるページであり、単独ページ、カテゴリページ、または集約ページなど、様々な形態が考えられます。実際の状況を参考に、盲目的にコピーしないでください。

最後に

ウェブサイトロボットとオンサイトSEO最適化の関係はやや特殊です。SEO最適化に直接影響を与えることはありませんが、間接的に副作用をもたらす可能性があります。

ウェブサイトを公開する前に、オンサイトSEOとの関係性を検討する必要があります。適切に作成されたガイドラインは不可欠であり、必ず遵守する必要があります。

インターネットデータのキャッシュ機能により、robots.txtファイルはアップロード後、有効になるまでに1～3日かかります。すぐには有効になりません。

スパイダーは1～3日間、robots.txtプロトコルに従ってクロールしません。1～3日以内にキャッシュが更新された後、プロトコルに従ってクロールするようになります。

次に、アクティベーションにかかる時間は検索エンジンによって異なります。実際に使用する際には、この点に注意してください。

面白い人になってください、バランさん、さようなら！

-終わり-