クローラーとは?検索順位が決まるまでの流れも解説!のアイキャッチ画像

SEO

更新日: 2023/11/20

クローラーとは?検索順位が決まるまでの流れも解説!

character_balloon

ねえねえブルーちゃん?

character_balloon
character_balloon

クライアントから「Googleにインデックスされるまでの流れを教えて欲しい」って言われたんだけど、その流れを教えてくれないかしら??

あぁ、それはクローラーの話をする必要があるねー

character_balloon

それじゃあ今回は、クローラーとは何かを紹介するね

character_balloon

クローラーとは?

クローラーとは?検索順位が決まるまでの流れも解説!の画像_2枚目
character_balloon

クローラーとは、検索エンジンが検索結果を表示するために、Webサイトの情報を収集する巡回ロボット(Bot)のことだよ

character_balloon

Googleなどの検索エンジンは、世の中にたくさんあるWebサイトを巡回するのに、クローラーを使ってWebサイトの情報を集めてるんだよねー

その情報を読み込んだ上で、適切なキーワードに表示したり、順位を付けたりしているのね!

character_balloon
character_balloon

そうそう!だからGoogleに表示してもらうには、まずはクローラーにクローリングしてもらわないといけないんだよ

クローラーが拾える情報は?

character_balloon

クローラーが拾える情報は、

クローラーが拾える情報

◆ HTML


◆ CSS


◆ Javascript


◆ 画像データ


◆ PDFファイル

character_balloon

などを拾うことができるよ!

character_balloon

だから、クローラーはWebサイトに表示されているデータは、ほとんど余すところなく取得するようにできてるんだよねー

検索エンジンはそれだけ、ユーザーのニーズに当てはまる精密な検索結果を提示しようとしてるのね!

character_balloon

クローラーの巡回から順位が決まるまでの流れを解説!

character_balloon

次は、クローラーの巡回手順から、検索結果の順位が決まるまでの一連の流れを紹介するね

順位が決まるまでの流れ1.クローラーがrobots.txtにアクセス

クローラーとは?検索順位が決まるまでの流れも解説!の画像_8枚目
character_balloon

まず最初に、クローラーは「robots.txt」にアクセスするんだ

character_balloon

「robots.txt」っていうのは、どのページにアクセスしてはいけないかを教えるためのファイルだよ

character_balloon

世の中のクローラーは、まず「robots.txt」を見て、アクセスしてはいけないページを把握するんだよねー

character_balloon

robots.txtを置く場所は、例えば「example.com/robots.txt」っていうURLに置く必要があるのに注意しないといけないよ

順位が決まるまでの流れ2.アクセスしてはいけないページ以外にアクセス

クローラーとは?検索順位が決まるまでの流れも解説!の画像_10枚目
character_balloon

次に、クローラーは「robots.txt」でアクセスを禁止されているページ以外に、アクセスを始める

character_balloon

この時、「ページ内にあるリンク」や「sitemap.xml」を辿ってページを見つけるんだよねー

character_balloon

ページを見つけてもらうために、ページにリンクはしっかりと置かないとダメなんだよ

順位が決まるまでの流れ3.検索エンジンにインデックスする

クローラーとは?検索順位が決まるまでの流れも解説!の画像_12枚目
character_balloon

次は、クローラーが持ってきた情報を、検索エンジンにインデックスするんだよ

character_balloon

インデックスっていうのは、検索エンジンのデータベースに、クローラーが持ってきたデータを保存することだねー

character_balloon

クロールはされても、インデックスされないと検索結果に表示されないから、重要な工程だよ!

順位が決まるまでの流れ4.ユーザー行動により、検索結果での順位を変え続ける

クローラーとは?検索順位が決まるまでの流れも解説!の画像_14枚目
character_balloon

最後に検索エンジンは、検索結果でのユーザー行動も加味して、検索結果での順位を変え続けるんだよ

検索結果での動きも反映されるの?!

character_balloon
character_balloon

うん、そうだよ

character_balloon

例えば、

ユーザーの動きの例

1. 1位のページをユーザーがクリック


2. サイトから戻ってきて、2位のページをユーザーがクリック


3. そのまま戻ってこなかった

character_balloon

っていう行動をするユーザーが多いなら、1位のページよりも、2位のページの方が、ユーザーが求めている情報だよね?

character_balloon

そういう場合は、検索エンジンは2位と1位の順位を入れ替えて、ページを表示するようになるんだよ

character_balloon

こういうふうに検索エンジンは、常にユーザーが最も求めている情報を出そうと頑張ってるんだよねー

クローラーはユーザーのような動きはできない

クローラーとは?検索順位が決まるまでの流れも解説!の画像_16枚目
character_balloon

実は、クローラーはユーザーのような動きはしないんだよ

character_balloon

もっと具体的には「ユーザー行動で生成されるコンテンツ」を取得することはしない

character_balloon

例えば、クローラーはリンクを追って他のページを探すけど、aタグのhref内にあるリンクを辿ることはしても、「クリックすることでJavascriptでURLを生成する仕様のリンク」を取得することはしないんだ

character_balloon

他にも、無限スクロールっていうスクロールで生成されるコンテンツとかも認識できないねー

character_balloon

だから、もしもサイト内のリンクを全てbuttonタグにしている場合は、クローラーがページを巡回しやすいようにaタグに置き換えてあげる必要があるよ

character_balloon

クローラーについてまとめると、、、

まとめ

◆クローラーとは、検索エンジンが検索結果を表示するために、Webサイトの情報を収集する巡回ロボット(Bot)のこと


◆クローラーは「HTML」「CSS」「Javascript」「画像データ」「PDFファイル」などを拾える


◆クローラーは「robots.txt」でアクセスしてはいけないページを把握してから、それ以外のページをリンクを辿って、Webサイトの情報を集める


◆クローラーが集めた情報をもとにインデックス処理が行われ、ユーザー行動に基づいて検索結果での順位が決まる

character_balloon

こんな感じだねー

さすがブルーちゃん!わかりやすかったわ!

character_balloon

クライアントに説明してくるね!

character_balloon
character_balloon

いってらっしゃーい

character_balloon

ブルー

SEO
マーケティングオートメーション(MA)
アフィリエイト
wordpress

SEOやエンジニアリングマーケティングが得意。非常にめんどくさがりで、動きたくないがために自分でコードを書いて自作のMAを組んだりする。自動化のためなら努力は惜しまない。

最新の記事一覧
最新の記事一覧