![クローラーとは?検索順位が決まるまでの流れも解説!のアイキャッチ画像](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/3e631696bb2b41a6aef457fd03d280c6/Group%20241.png?w=1200&fm=webp)
SEO
更新日: 2023/11/20
クローラーとは?検索順位が決まるまでの流れも解説!
![character_balloon](/media/character/pink_sigh_left.png)
ねえねえブルーちゃん?
?
![character_balloon](/media/character/blue_question_right.png)
![character_balloon](/media/character/pink_question_left.png)
クライアントから「Googleにインデックスされるまでの流れを教えて欲しい」って言われたんだけど、その流れを教えてくれないかしら??
あぁ、それはクローラーの話をする必要があるねー
![character_balloon](/media/character/blue_normal_right.png)
それじゃあ今回は、クローラーとは何かを紹介するね
![character_balloon](/media/character/blue_smile_right.png)
クローラーとは?
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_2枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/29bfcf5506ad4750bd076e78a0c1669a/%EF%BC%91.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
クローラーとは、検索エンジンが検索結果を表示するために、Webサイトの情報を収集する巡回ロボット(Bot)のことだよ
![character_balloon](/media/character/blue_happy_left.png)
Googleなどの検索エンジンは、世の中にたくさんあるWebサイトを巡回するのに、クローラーを使ってWebサイトの情報を集めてるんだよねー
その情報を読み込んだ上で、適切なキーワードに表示したり、順位を付けたりしているのね!
![character_balloon](/media/character/pink_inspiration_right.png)
![character_balloon](/media/character/blue_smile_left.png)
そうそう!だからGoogleに表示してもらうには、まずはクローラーにクローリングしてもらわないといけないんだよ
クローラーが拾える情報は?
![character_balloon](/media/character/blue_normal_left.png)
クローラーが拾える情報は、
◆ HTML
◆ CSS
◆ Javascript
◆ 画像データ
◆ PDFファイル
![character_balloon](/media/character/blue_confidence_left.png)
などを拾うことができるよ!
![character_balloon](/media/character/blue_happy_left.png)
だから、クローラーはWebサイトに表示されているデータは、ほとんど余すところなく取得するようにできてるんだよねー
検索エンジンはそれだけ、ユーザーのニーズに当てはまる精密な検索結果を提示しようとしてるのね!
![character_balloon](/media/character/pink_smile_right.png)
クローラーの巡回から順位が決まるまでの流れを解説!
![character_balloon](/media/character/blue_normal_left.png)
次は、クローラーの巡回手順から、検索結果の順位が決まるまでの一連の流れを紹介するね
順位が決まるまでの流れ1.クローラーがrobots.txtにアクセス
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_8枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/5deafcae147f45b4a0a52984d7233fcd/%EF%BC%92.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
まず最初に、クローラーは「robots.txt」にアクセスするんだ
![character_balloon](/media/character/blue_normal_left.png)
「robots.txt」っていうのは、どのページにアクセスしてはいけないかを教えるためのファイルだよ
![character_balloon](/media/character/blue_confidence_left.png)
世の中のクローラーは、まず「robots.txt」を見て、アクセスしてはいけないページを把握するんだよねー
![character_balloon](/media/character/blue_scared_left.png)
robots.txtを置く場所は、例えば「example.com/robots.txt」っていうURLに置く必要があるのに注意しないといけないよ
順位が決まるまでの流れ2.アクセスしてはいけないページ以外にアクセス
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_10枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/b5e96579571c4d178032c462697af10c/%EF%BC%93.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
次に、クローラーは「robots.txt」でアクセスを禁止されているページ以外に、アクセスを始めるよ
![character_balloon](/media/character/blue_confidence_left.png)
この時、「ページ内にあるリンク」や「sitemap.xml」を辿ってページを見つけるんだよねー
![character_balloon](/media/character/blue_worry_left.png)
ページを見つけてもらうために、ページにリンクはしっかりと置かないとダメなんだよ
順位が決まるまでの流れ3.検索エンジンにインデックスする
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_12枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/67461a19fc5e42a78d092e73e2f71a5e/%EF%BC%94.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
次は、クローラーが持ってきた情報を、検索エンジンにインデックスするんだよ
![character_balloon](/media/character/blue_confidence_left.png)
インデックスっていうのは、検索エンジンのデータベースに、クローラーが持ってきたデータを保存することだねー
![character_balloon](/media/character/blue_happy_left.png)
クロールはされても、インデックスされないと検索結果に表示されないから、重要な工程だよ!
順位が決まるまでの流れ4.ユーザー行動により、検索結果での順位を変え続ける
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_14枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/817b80b2fca34e6c8702288430e83773/%EF%BC%95.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
最後に検索エンジンは、検索結果でのユーザー行動も加味して、検索結果での順位を変え続けるんだよ
検索結果での動きも反映されるの?!
![character_balloon](/media/character/pink_surprised_right.png)
![character_balloon](/media/character/blue_confidence_left.png)
うん、そうだよ
![character_balloon](/media/character/blue_normal_left.png)
例えば、
1. 1位のページをユーザーがクリック
2. サイトから戻ってきて、2位のページをユーザーがクリック
3. そのまま戻ってこなかった
![character_balloon](/media/character/blue_happy_left.png)
っていう行動をするユーザーが多いなら、1位のページよりも、2位のページの方が、ユーザーが求めている情報だよね?
![character_balloon](/media/character/blue_confidence_left.png)
そういう場合は、検索エンジンは2位と1位の順位を入れ替えて、ページを表示するようになるんだよ
![character_balloon](/media/character/blue_smile_left.png)
こういうふうに検索エンジンは、常にユーザーが最も求めている情報を出そうと頑張ってるんだよねー
クローラーはユーザーのような動きはできない
![クローラーとは?検索順位が決まるまでの流れも解説!の画像_16枚目](https://images.microcms-assets.io/assets/849933361e3447368c1f885948b087dc/a1d151a925724c46bdef973c5b0422cb/%EF%BC%96.jpg?w=1200&fm=webp)
![character_balloon](/media/character/blue_confidence_left.png)
実は、クローラーはユーザーのような動きはしないんだよ
![character_balloon](/media/character/blue_confidence_left.png)
もっと具体的には「ユーザー行動で生成されるコンテンツ」を取得することはしないよ
![character_balloon](/media/character/blue_sigh_left.png)
例えば、クローラーはリンクを追って他のページを探すけど、aタグのhref内にあるリンクを辿ることはしても、「クリックすることでJavascriptでURLを生成する仕様のリンク」を取得することはしないんだ
![character_balloon](/media/character/blue_worry_left.png)
他にも、無限スクロールっていうスクロールで生成されるコンテンツとかも認識できないねー
![character_balloon](/media/character/blue_normal_left.png)
だから、もしもサイト内のリンクを全てbuttonタグにしている場合は、クローラーがページを巡回しやすいようにaタグに置き換えてあげる必要があるよ
![character_balloon](/media/character/blue_normal_left.png)
クローラーについてまとめると、、、
まとめ
◆クローラーとは、検索エンジンが検索結果を表示するために、Webサイトの情報を収集する巡回ロボット(Bot)のこと
◆クローラーは「HTML」「CSS」「Javascript」「画像データ」「PDFファイル」などを拾える
◆クローラーは「robots.txt」でアクセスしてはいけないページを把握してから、それ以外のページをリンクを辿って、Webサイトの情報を集める
◆クローラーが集めた情報をもとにインデックス処理が行われ、ユーザー行動に基づいて検索結果での順位が決まる
![character_balloon](/media/character/blue_normal_left.png)
こんな感じだねー
さすがブルーちゃん!わかりやすかったわ!
![character_balloon](/media/character/pink_inspiration_right.png)
クライアントに説明してくるね!
![character_balloon](/media/character/pink_smile_right.png)
![character_balloon](/media/character/blue_smile_left.png)
いってらっしゃーい
![character_balloon](/media/character/blue_writer.png)
ブルー
SEOやエンジニアリングマーケティングが得意。非常にめんどくさがりで、動きたくないがために自分でコードを書いて自作のMAを組んだりする。自動化のためなら努力は惜しまない。
最新の記事一覧
7割の人にとって味が最も重要!?エナジードリンクのアンケート調査結果をご紹介!
アンケート・調査結果
副業で5万円以上稼ぐ人は15%しかいない?副業の実態について調査しました!
アンケート・調査結果
53%の人は最後に浴衣を着てから5年以上経った?!浴衣の実態を徹底調査!
アンケート・調査結果
約82%の人が部屋着のズボンを履いてテレワークをしている!テレワークの現状を調査しました!
アンケート・調査結果
「1杯目はビール!」は約6割しかいない!?お酒についてアンケート調査しました!
アンケート・調査結果
企画書とは?目的や作り方、おすすめのテンプレートを紹介
マーケティング
取引や計算で使われるグロスとは?使用例や注意点を徹底解説!
マーケティング
「スーパーフレックス制度」とは?導入に向けて注意する点を解説!
マーケティング
ペルソナ設定とは?目的と作り方、注意点について徹底解説!
マーケティング
視聴者を魅了し続ける冠番組とは?成功している冠番組の特徴を解説
ビジネス
有名企業のペルソナマーケティング事例5選!何に活用できるか解説
マーケティング
破ると法律違反になるステマとは?過去のステマ事件や対策を紹介
マーケティング
多くの市場で危惧されるコモディティ化とは?コモディティ化対策5選
マーケティング
社会に影響を与えるマスメディアとは?影響力やリスクについて解説
マーケティング
カーボンニュートラルとは?実現のための取り組みや課題も解説
ビジネス
ネゴシエーションとは?ビジネスにおける意味と成功のポイントを解説
ビジネス
音声SNSとは?注目される理由やメリットを解説【アプリも紹介】
ディスプレイ広告
オーガニックサーチとは?広告なしで質の高い集客を実現できる!
SEO
問題解決フレームワークの活用法は?使用するメリットや注意点も解説
ビジネス
ブランドロイヤリティとは?顧客ロイヤリティとの違いを解説
広報・PR
最新の記事一覧
7割の人にとって味が最も重要!?エナジードリンクのアンケート調査結果をご紹介!
アンケート・調査結果
副業で5万円以上稼ぐ人は15%しかいない?副業の実態について調査しました!
アンケート・調査結果
53%の人は最後に浴衣を着てから5年以上経った?!浴衣の実態を徹底調査!
アンケート・調査結果
約82%の人が部屋着のズボンを履いてテレワークをしている!テレワークの現状を調査しました!
アンケート・調査結果
「1杯目はビール!」は約6割しかいない!?お酒についてアンケート調査しました!
アンケート・調査結果
企画書とは?目的や作り方、おすすめのテンプレートを紹介
マーケティング
取引や計算で使われるグロスとは?使用例や注意点を徹底解説!
マーケティング
「スーパーフレックス制度」とは?導入に向けて注意する点を解説!
マーケティング
ペルソナ設定とは?目的と作り方、注意点について徹底解説!
マーケティング
視聴者を魅了し続ける冠番組とは?成功している冠番組の特徴を解説
ビジネス
有名企業のペルソナマーケティング事例5選!何に活用できるか解説
マーケティング
破ると法律違反になるステマとは?過去のステマ事件や対策を紹介
マーケティング
多くの市場で危惧されるコモディティ化とは?コモディティ化対策5選
マーケティング
社会に影響を与えるマスメディアとは?影響力やリスクについて解説
マーケティング
カーボンニュートラルとは?実現のための取り組みや課題も解説
ビジネス
ネゴシエーションとは?ビジネスにおける意味と成功のポイントを解説
ビジネス
音声SNSとは?注目される理由やメリットを解説【アプリも紹介】
ディスプレイ広告
オーガニックサーチとは?広告なしで質の高い集客を実現できる!
SEO
問題解決フレームワークの活用法は?使用するメリットや注意点も解説
ビジネス
ブランドロイヤリティとは?顧客ロイヤリティとの違いを解説
広報・PR