【イラスト付き】クローラーとは？検索順位が決まるまでの流れも解説！

ねえねえブルーちゃん？

クライアントから「Googleにインデックスされるまでの流れを教えて欲しい」って言われたんだけど、その流れを教えてくれないかしら？？

クローラーとは、検索エンジンが検索結果を表示するために、Webサイトの情報を収集する巡回ロボット（Bot）のことだよ

Googleなどの検索エンジンは、世の中にたくさんあるWebサイトを巡回するのに、クローラーを使ってWebサイトの情報を集めてるんだよねー

そうそう！だからGoogleに表示してもらうには、まずはクローラーにクローリングしてもらわないといけないんだよ

クローラーが拾える情報は、

などを拾うことができるよ！

だから、クローラーはWebサイトに表示されているデータは、ほとんど余すところなく取得するようにできてるんだよねー

次は、クローラーの巡回手順から、検索結果の順位が決まるまでの一連の流れを紹介するね

まず最初に、クローラーは「robots.txt」にアクセスするんだ

「robots.txt」っていうのは、どのページにアクセスしてはいけないかを教えるためのファイルだよ

世の中のクローラーは、まず「robots.txt」を見て、アクセスしてはいけないページを把握するんだよねー

robots.txtを置く場所は、例えば「example.com/robots.txt」っていうURLに置く必要があるのに注意しないといけないよ

次に、クローラーは「robots.txt」でアクセスを禁止されているページ以外に、アクセスを始めるよ

この時、「ページ内にあるリンク」や「sitemap.xml」を辿ってページを見つけるんだよねー

ページを見つけてもらうために、ページにリンクはしっかりと置かないとダメなんだよ

次は、クローラーが持ってきた情報を、検索エンジンにインデックスするんだよ

インデックスっていうのは、検索エンジンのデータベースに、クローラーが持ってきたデータを保存することだねー

クロールはされても、インデックスされないと検索結果に表示されないから、重要な工程だよ！

最後に検索エンジンは、検索結果でのユーザー行動も加味して、検索結果での順位を変え続けるんだよ

うん、そうだよ

例えば、

っていう行動をするユーザーが多いなら、1位のページよりも、2位のページの方が、ユーザーが求めている情報だよね？

そういう場合は、検索エンジンは2位と1位の順位を入れ替えて、ページを表示するようになるんだよ

こういうふうに検索エンジンは、常にユーザーが最も求めている情報を出そうと頑張ってるんだよねー

実は、クローラーはユーザーのような動きはしないんだよ

もっと具体的には「ユーザー行動で生成されるコンテンツ」を取得することはしないよ

例えば、クローラーはリンクを追って他のページを探すけど、aタグのhref内にあるリンクを辿ることはしても、「クリックすることでJavascriptでURLを生成する仕様のリンク」を取得することはしないんだ

他にも、無限スクロールっていうスクロールで生成されるコンテンツとかも認識できないねー

だから、もしもサイト内のリンクを全てbuttonタグにしている場合は、クローラーがページを巡回しやすいようにaタグに置き換えてあげる必要があるよ

クローラーについてまとめると、、、

こんな感じだねー

いってらっしゃーい