@Balangkanをフォローするには、上記の青いテキストをクリックしてください。

これはバロンズマガジンの第64回記事です。

著者 |バラン編集者 |バラン

出典 |バランカン (ID:balangk)

転載許可については、当社までご連絡ください（WeChat ID: g0013g）。

序文

適切なrobots.txtファイルを作成すると、ページのインデックス登録が速くなり、ウェブサイトのリソースを節約できます。ウェブサイトを公開する前に、インデックス登録を優先するページを計画し、対応するrobots.txtファイルを作成してください。

ウェブサイトを公開する前に、キーワード分析を実施して、メインキーワード、フレーズキーワード、ロングテールキーワードを決定する必要があります。

次に、キーワードデータベースを構築し、これらのキーワードを配置するためのセクションを計画します。レイアウトが完了したら、次のステップはウェブサイトのクロールプロトコル（ロボット）を作成することです。

「 SEOチュートリアル：ロボットです。初めまして」という記事では、ロボットの重要性と意義について強調しています。まだ読んでいない方は、ぜひお読みください。

しかし、robots.txtを書く前に、明確な目標を設定する必要があります。その目標とは、カテゴリー計画です。カテゴリーを計画すれば、検索エンジンのスパイダーがクロールすべきカテゴリーとすべきでないカテゴリーが自然にわかるようになります。

robots.txt ファイルはサイト専用に作成する必要があります。無計画に作成すると、小さな SEO 問題が発生し、最終的には逆効果になる可能性があります。

では、 robots.txtは具体的にどのように記述すればよいのでしょうか？伝統的な企業である【鹰吉派】のウェブサイトを例に挙げてみましょう。

イーグル・ジパイ公式サイト

このウェブサイトのホームページには9つのキーワードが含まれています。最初の6つはビジネス関連で問題ありませんが、最後の3つは問題があります。サイトマップを見てみましょう。このレイアウトはランキングに悪影響を及ぼし、2つの問題を引き起こしています。

EagleJipai公式サイトrobots.txt

多数のオブジェクトを取得すると、スパイダーとサーバーのリソースが大量に消費されます。

1. 這わせる物が多すぎて重量が分散しやすくなります。

2. 把握するための明確な焦点が欠如している。

では、どのように記述すればよいのでしょうか?詳細はセクション 3 で説明します。

主要な焦点を明確に特定することが重要です。

—01—

クローリングオブジェクトを減らす

先ほどセクションプランニングについて説明しました。ここでは9つのセクションがありますが、最後の3つは不要なので非表示にする必要があります。目標は、検索エンジンのスパイダーが最初の6つのセクションのみをクロールするようにすることです。正しい構文は次のとおりです。

最後の3列を非表示にする

—02—

明確な包括の焦点がない

スパイダーはウェブサイトのデータをクロールする際に独特の好みを持っています。左から右、上から下へとクロールするのです。

そのため、クローラーにインデックス登録したいページのヒントを与えましょう。クローラーがヒントを受け取ると、インデックス登録の大まかな方向性がわかり、インデックス登録プロセスがより効率的かつ迅速になります。

プロンプトは、これらの 6 ページをクロールするように指示します。

最後に、robots.txt ファイルを次のように変更し、確認してから、Web サイトのルート ディレクトリにアップロードします。

公式サイト上の修正されたrobots.txtファイル

上の画像では、6つのページが検索エンジンのクローラー向けの6つの提案を表していることを明確に示しました。ただし、具体的なビジネスニーズに基づいて、1つの提案のみを記述することをお勧めします。

このページはウェブサイトの最もコアとなるページであり、単独ページ、カテゴリページ、または集約ページなど、様々な形態が考えられます。実際の状況を参考に、盲目的にコピーしないでください。

最後に

ウェブサイトロボットとオンサイトSEO最適化の関係はやや特殊です。SEO最適化に直接影響を与えることはありませんが、間接的に副作用をもたらす可能性があります。

ウェブサイトを公開する前に、オンサイトSEOとの関係性を検討する必要があります。適切に作成されたガイドラインは不可欠であり、必ず遵守する必要があります。

インターネットデータのキャッシュ機能により、 robots.txtのアップロードが反映されるまでには1～3日ほどかかります。即時ではありません。

スパイダーは1～3日間、robots.txtプロトコルに従ってクロールしません。1 ～3日以内にキャッシュが更新された後、プロトコルに従ってクロールするようになります。

次に、アクティベーションにかかる時間は検索エンジンによって異なります。実際に使用する際には、この点に注意してください。

面白い人になってください、バランさん、さようなら！

著者: バラン

初出：バラン駅

バラン駅: http://www.8alang.com/

—おすすめの読み物—

SEO チュートリアル: 私の名前は Ruobots (ロボット) です。初めまして!

-終わり-

著者について

Balang: 90年代生まれの興味深い若者。伝統的な営業職を経てSEOを通じてインターネット業界に入り、現在はフリーランスののんびりとした若者です。

書くのは簡単ではありませんが、良いと思います！

「いいね！」をクリックして友達とシェアしましょう！

フォローしていただきありがとうございます！

下の画像を長押ししてQRコードをスキャンし、フォローしてください。

興味深い人になりましょう