クロールバジェットとは？影響を受けるサイト、最適化のための4つの方法

ねーねー、ブルーちゃん！

大規模なWebサイト運営にはクロールバジェットが重要って聞いたんだけど、詳しく教えてもらっていい？

ブルーちゃん、ありがとう！

クロールバジェットとは、検索エンジンがウェブサイトを定期的に訪問し、情報を収集するために割り当てられたリソースの量や時間のことだよ。

クロールとは、Googlebotなどの検索エンジンのクローラーがウェブサイトを訪問し、ページの内容やリンクを読み取るプロセスのこと。

このプロセスには、ウェブページの更新、変更、削除の追跡も含まれるよ。

実は、ほとんどのサイト運営者はクロールバジェットを気にする必要はないんだ。

これは、Googleの公式ページで述べられていたことだから間違いないよ。

数千以下のページしか持たない通常のサイトであれば、ほとんどの場合、ちゃんと効率的にクロールされるみたいだよ。

一方で、ページ数が数万以上あって、頻繁に記事が更新されるような中〜大規模サイトは、クロールバジェットのリソースが足りなくなって、全てのコンテンツがクロールされない場合があるんだ。

うん。クロールバジェットに悪影響を及ぼす要因は、以下の3つがあるよ。

1つずつ説明するね！

ファセットナビゲーションは、ユーザーが商品やコンテンツをカテゴリー別に絞り込める便利な機能だけど、同じページの内容が異なるURLで複数存在することになるんだ。

Googlebotが重複コンテンツをクロールすることになり、クロールバジェットの無駄遣いに繋がるよ。

セッションIDも同様に、1つのページが異なるセッションIDを持つ複数のURLで存在することがあるんだ。

これもまた、クロールバジェットの浪費を引き起こす原因となるよ。

質の低いコンテンツやスパムコンテンツは、Googlebotが有益な情報を提供するページを見つけることを妨げ、クロールバジェットを浪費するんだ。

これには、薄いコンテンツ、自動生成されたコンテンツ、またはコピーコンテンツが含まれるよ。

質の低いページが多いと、Googlebotは重要なページに到達する前にクロールバジェットを使い果たしてしまう可能性があるんだ。

ウェブサイトの構造が複雑であるほど、クローラーがサイトを効率的にクロールしにくくなるよ。

深い階層構造、ブロークンリンクなどは、クローラーが重要なコンテンツに到達するのを困難にさせ、クロールバジェットの消費を増加させるんだ。

これらの要因により、クロールバジェットが適切に利用されず、ウェブサイトの重要なページが検索エンジンによって見過ごされる可能性があるよ。

主に以下の4パターンがあるよ！

わかりやすく説明していくから、安心して！

ウェブサイトのxmlサイトマップは、検索エンジンにサイト内のページを通知するための貴重な手段だよ。

サイトマップを最新の状態に保つことで、新しいコンテンツが追加された場合や古いコンテンツが削除された場合でも、検索エンジンがそれにすぐに気付けるようになるんだ。

サイトマップを更新するには、定期的にサイトをスキャンし、新しいURLや変更されたURLをサイトマップに追加することが必要だよ。

robots.txtファイルは、検索エンジンのクローラーに対してどのページをクロールしてもらいたいかを指示するためのファイルだよ。

不要なページやクロールしたくないページがある場合、robots.txtを使用してそれらのページを制限することができるんだ。

適切にrobots.txtを設定することで、クロールバジェットを無駄に消費することなく、重要なページに注力することができるよ。

404や410のエラーが発生するページは、検索エンジンのクロール対象から外される可能性があるよ。

これによってクロールバジェットが無駄に消費されることを避けるために、これらのエラーページを修正するか削除する必要があるんだ。

また、ページの表示速度もクロールバジェットに影響を与える要因の1つだよ。ページの読み込み速度を改善することで、クロールが効率的に行われるようにすることが重要だよ。

あるURLから別のURLへの転送が繰り返されるリダイレクトチェーンや重複コンテンツは、検索エンジンのクロールを遅くする要因の1つだよ。

可能な限りリダイレクトを減らし、ユーザーが直接アクセスできるURLを提供することが重要なんだ。

canonicalタグ（検索エンジンに代表となるページを示すためのタグ）を使用して重複コンテンツを正規化し、クロールバジェットを効果的に使用しよう！

クロールバジェットについてまとめるよ。

ここまでは、大丈夫かな？

そうだね！また、わからないことがあったらいつでも聞いてね。