![クローラーとは?検索順位が決まるまでの流れも解説!のアイキャッチ画像](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/3e631696bb2b41a6aef457fd03d280c6/Group%20241.png?w=1200&fm=webp)
SEO
更新日: 2023/11/20
クローラーとは?検索順位が決まるまでの流れも解説!
![character_balloon](/media/character/pink_sigh_left.png)
ねえねえブルーちゃん?
?
![character_balloon](/media/character/blue_question_right.png)
![character_balloon](/media/character/pink_question_left.png)
クライアントから「Googleにインデックスされるまでの流れを教えて欲しい」って言われたんだけど、その流れを教えてくれないかしら??
あぁ、それはクローラーの話をする必要があるねー
![character_balloon](/media/character/blue_normal_right.png)
それじゃあ今回は、クローラーとは何かを紹介するね
![character_balloon](/media/character/blue_smile_right.png)
クローラーとは?
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_2枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/29bfcf5506ad4750bd076e78a0c1669a/%EF%BC%91.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
クローラーとは、検索エンジンが検索結果を表示するために、Webサイトの情報を収集する巡回ロボット(Bot)のことだよ
![character_balloon](/media/character/blue_happy_left.png)
Googleなどの検索エンジンは、世の中にたくさんあるWebサイトを巡回するのに、クローラーを使ってWebサイトの情報を集めてるんだよねー
その情報を読み込んだ上で、適切なキーワードに表示したり、順位を付けたりしているのね!
![character_balloon](/media/character/pink_inspiration_right.png)
![character_balloon](/media/character/blue_smile_left.png)
そうそう!だからGoogleに表示してもらうには、まずはクローラーにクローリングしてもらわないといけないんだよ
クローラーが拾える情報は?
![character_balloon](/media/character/blue_normal_left.png)
クローラーが拾える情報は、
◆ HTML
◆ CSS
◆ Javascript
◆ 画像データ
◆ PDFファイル
![character_balloon](/media/character/blue_confidence_left.png)
などを拾うことができるよ!
![character_balloon](/media/character/blue_happy_left.png)
だから、クローラーはWebサイトに表示されているデータは、ほとんど余すところなく取得するようにできてるんだよねー
検索エンジンはそれだけ、ユーザーのニーズに当てはまる精密な検索結果を提示しようとしてるのね!
![character_balloon](/media/character/pink_smile_right.png)
クローラーの巡回から順位が決まるまでの流れを解説!
![character_balloon](/media/character/blue_normal_left.png)
次は、クローラーの巡回手順から、検索結果の順位が決まるまでの一連の流れを紹介するね
順位が決まるまでの流れ1.クローラーがrobots.txtにアクセス
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_8枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/5deafcae147f45b4a0a52984d7233fcd/%EF%BC%92.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
まず最初に、クローラーは「robots.txt」にアクセスするんだ
![character_balloon](/media/character/blue_normal_left.png)
「robots.txt」っていうのは、どのページにアクセスしてはいけないかを教えるためのファイルだよ
![character_balloon](/media/character/blue_confidence_left.png)
世の中のクローラーは、まず「robots.txt」を見て、アクセスしてはいけないページを把握するんだよねー
![character_balloon](/media/character/blue_scared_left.png)
robots.txtを置く場所は、例えば「example.com/robots.txt」っていうURLに置く必要があるのに注意しないといけないよ
順位が決まるまでの流れ2.アクセスしてはいけないページ以外にアクセス
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_10枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/b5e96579571c4d178032c462697af10c/%EF%BC%93.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
次に、クローラーは「robots.txt」でアクセスを禁止されているページ以外に、アクセスを始めるよ
![character_balloon](/media/character/blue_confidence_left.png)
この時、「ページ内にあるリンク」や「sitemap.xml」を辿ってページを見つけるんだよねー
![character_balloon](/media/character/blue_worry_left.png)
ページを見つけてもらうために、ページにリンクはしっかりと置かないとダメなんだよ
順位が決まるまでの流れ3.検索エンジンにインデックスする
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_12枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/67461a19fc5e42a78d092e73e2f71a5e/%EF%BC%94.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
次は、クローラーが持ってきた情報を、検索エンジンにインデックスするんだよ
![character_balloon](/media/character/blue_confidence_left.png)
インデックスっていうのは、検索エンジンのデータベースに、クローラーが持ってきたデータを保存することだねー
![character_balloon](/media/character/blue_happy_left.png)
クロールはされても、インデックスされないと検索結果に表示されないから、重要な工程だよ!
順位が決まるまでの流れ4.ユーザー行動により、検索結果での順位を変え続ける
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_14枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/817b80b2fca34e6c8702288430e83773/%EF%BC%95.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
最後に検索エンジンは、検索結果でのユーザー行動も加味して、検索結果での順位を変え続けるんだよ
検索結果での動きも反映されるの?!
![character_balloon](/media/character/pink_surprised_right.png)
![character_balloon](/media/character/blue_confidence_left.png)
うん、そうだよ
![character_balloon](/media/character/blue_normal_left.png)
例えば、
1. 1位のページをユーザーがクリック
2. サイトから戻ってきて、2位のページをユーザーがクリック
3. そのまま戻ってこなかった
![character_balloon](/media/character/blue_happy_left.png)
っていう行動をするユーザーが多いなら、1位のページよりも、2位のページの方が、ユーザーが求めている情報だよね?
![character_balloon](/media/character/blue_confidence_left.png)
そういう場合は、検索エンジンは2位と1位の順位を入れ替えて、ページを表示するようになるんだよ
![character_balloon](/media/character/blue_smile_left.png)
こういうふうに検索エンジンは、常にユーザーが最も求めている情報を出そうと頑張ってるんだよねー
クローラーはユーザーのような動きはできない
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_16枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/a1d151a925724c46bdef973c5b0422cb/%EF%BC%96.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
実は、クローラーはユーザーのような動きはしないんだよ
![character_balloon](/media/character/blue_confidence_left.png)
もっと具体的には「ユーザー行動で生成されるコンテンツ」を取得することはしないよ
![character_balloon](/media/character/blue_sigh_left.png)
例えば、クローラーはリンクを追って他のページを探すけど、aタグのhref内にあるリンクを辿ることはしても、「クリックすることでJavascriptでURLを生成する仕様のリンク」を取得することはしないんだ
![character_balloon](/media/character/blue_worry_left.png)
他にも、無限スクロールっていうスクロールで生成されるコンテンツとかも認識できないねー
![character_balloon](/media/character/blue_normal_left.png)
だから、もしもサイト内のリンクを全てbuttonタグにしている場合は、クローラーがページを巡回しやすいようにaタグに置き換えてあげる必要があるよ
![character_balloon](/media/character/blue_normal_left.png)
クローラーについてまとめると、、、
まとめ
◆クローラーとは、検索エンジンが検索結果を表示するために、Webサイトの情報を収集する巡回ロボット(Bot)のこと
◆クローラーは「HTML」「CSS」「Javascript」「画像データ」「PDFファイル」などを拾える
◆クローラーは「robots.txt」でアクセスしてはいけないページを把握してから、それ以外のページをリンクを辿って、Webサイトの情報を集める
◆クローラーが集めた情報をもとにインデックス処理が行われ、ユーザー行動に基づいて検索結果での順位が決まる
![character_balloon](/media/character/blue_normal_left.png)
こんな感じだねー
さすがブルーちゃん!わかりやすかったわ!
![character_balloon](/media/character/pink_inspiration_right.png)
クライアントに説明してくるね!
![character_balloon](/media/character/pink_smile_right.png)
![character_balloon](/media/character/blue_smile_left.png)
いってらっしゃーい
![character_balloon](/media/character/blue_writer.png)
ブルー
SEOやエンジニアリングマーケティングが得意。非常にめんどくさがりで、動きたくないがために自分でコードを書いて自作のMAを組んだりする。自動化のためなら努力は惜しまない。
最新の記事一覧
7割の人にとって味が最も重要!?エナジードリンクのアンケート調査結果をご紹介!
アンケート・調査結果
副業収入が5万円以下の人は8割越え!?副業の実態について調査しました!
アンケート・調査結果
53%の人は最後に浴衣を着てから5年以上経った?!浴衣の実態を徹底調査!
アンケート・調査結果
約82%の人が部屋着のズボンを履いてテレワークをしている!?テレワークの現状を調査しました!
アンケート・調査結果
「1杯目はビール!」は約6割しかいない!?お酒についてアンケート調査しました!
アンケート・調査結果
破ると法律違反になるステマとは?過去のステマ事件や対策を紹介
マーケティング
多くの市場で危惧されるコモディティ化とは?コモディティ化対策5選
マーケティング
社会に影響を与えるマスメディアとは?影響力やリスクについて解説
マーケティング
カーボンニュートラルとは?実現のための取り組みや課題も解説
ビジネス
ネゴシエーションとは?ビジネスにおける意味と成功のポイントを解説
ビジネス
音声SNSとは?注目される理由やメリットを解説【アプリも紹介】
ディスプレイ広告
オーガニックサーチとは?広告なしで質の高い集客を実現できる!
SEO
問題解決フレームワークの活用法は?使用するメリットや注意点も解説
ビジネス
ブランドロイヤリティとは?顧客ロイヤリティとの違いを解説
広報・PR
広報戦略とは?必要な理由や策定方法、フレームワークを解説!
広報・PR
マテハンとは?初心者向けに意味を解説!マテハン機器の種類も紹介
ビジネス
デザイン経営とは?概要やメリット、取り組み方法を徹底解説
ビジネス
ミラーリング効果とは?ビジネスで信頼を深めるための方法を紹介
ビジネス
Z世代マーケティングの手法を紹介!Z世代の名前の由来や特徴も解説
マーケティング
サンクコスト効果の例は?意味やマーケティングへの活用例も解説
ビジネス
最新の記事一覧
7割の人にとって味が最も重要!?エナジードリンクのアンケート調査結果をご紹介!
アンケート・調査結果
副業収入が5万円以下の人は8割越え!?副業の実態について調査しました!
アンケート・調査結果
53%の人は最後に浴衣を着てから5年以上経った?!浴衣の実態を徹底調査!
アンケート・調査結果
約82%の人が部屋着のズボンを履いてテレワークをしている!?テレワークの現状を調査しました!
アンケート・調査結果
「1杯目はビール!」は約6割しかいない!?お酒についてアンケート調査しました!
アンケート・調査結果
破ると法律違反になるステマとは?過去のステマ事件や対策を紹介
マーケティング
多くの市場で危惧されるコモディティ化とは?コモディティ化対策5選
マーケティング
社会に影響を与えるマスメディアとは?影響力やリスクについて解説
マーケティング
カーボンニュートラルとは?実現のための取り組みや課題も解説
ビジネス
ネゴシエーションとは?ビジネスにおける意味と成功のポイントを解説
ビジネス
音声SNSとは?注目される理由やメリットを解説【アプリも紹介】
ディスプレイ広告
オーガニックサーチとは?広告なしで質の高い集客を実現できる!
SEO
問題解決フレームワークの活用法は?使用するメリットや注意点も解説
ビジネス
ブランドロイヤリティとは?顧客ロイヤリティとの違いを解説
広報・PR
広報戦略とは?必要な理由や策定方法、フレームワークを解説!
広報・PR
マテハンとは?初心者向けに意味を解説!マテハン機器の種類も紹介
ビジネス
デザイン経営とは?概要やメリット、取り組み方法を徹底解説
ビジネス
ミラーリング効果とは?ビジネスで信頼を深めるための方法を紹介
ビジネス
Z世代マーケティングの手法を紹介!Z世代の名前の由来や特徴も解説
マーケティング
サンクコスト効果の例は?意味やマーケティングへの活用例も解説
ビジネス