【イラスト付き】robots.txtとは？クローラーにどこを見てほしいか伝えよう！

ブルーちゃんrobots.txtってわかるかしら？

わからなくなっちゃったから、教えてくださらない？

robots.txtとは、コンテンツごとにクロールの拒否を設定できるテキストファイルのことだよ

クローラーの巡回を拒否する構文を記述してWebサイトのルートディレクトリに配置しておくと、Webページごとにクロール頻度を制御できるんだよ

検索エンジンからのクロールでサーバーに負荷がかかることもあるし、重要なWebページを重点的にクロールしてほしいよね

Googleはまずrobots.txtの内容を見て、Webサイト内のどのページを見にいくか判断するんだよ

robots.txtを設置することで、効率よくクロールしてもらえるよう制御できるよ

つまり、検索エンジンに評価してほしいコンテンツはクロールしてもらって、あまり評価に加えてほしくないコンテンツはクロールしないようにしてもらえるんだ

ユーザーにとって有用だったり、内容が充実しているコンテンツを重点的にクロールしてもらえば、評価があがってSEO対策にも有効なんだよ！

robots.txtとnoindexは少し似ている気がするけど、目的が違うんだよ

noindexは、Googleなどの検索エンジンにWebサイトやWebページをインデックスさせないように制御するメタタグだよ

noindexしておくと、検索結果に表示自体されなくなるけど、クローラーは巡回してくるんだよ

robots.txtとnoindexの違いはクローラーが巡回するかどうかだよ

クローラーの巡回は制御するけど、検索結果に表示されていい場合はrobots.txtに設定しよう

クローラーは巡回していいけど、検索結果に表示されたくない場合はnoindexを設定しよう

大きな違いは、サーバーへの負荷とユーザーの目に触れるかどうかだね

robots.txtには4つの要素を設定することができるよ

それぞれどんな設定内容になるのか説明していくね

User-Agentには、クロールを制御するクローラーはどれかを指定するよ

基本的にrobots.txtはクロールを制御するためのものだから、すべてのクローラーを指定する意味のある半角アスタリスクを設定することが多いよ

特定のクローラーの巡回だけ制御したいなら、制御したいクローラーのユーザーエージェントトークンを設定しようね

例えばGoogleのユーザーエージェントトークンは、パソコン・スマートフォン共に「Googlebot」だよ

Disallowには、クロールを制御するコンテンツはどれかを指定するよ

制御する範囲によって書き方が違うから注意してね

Webサイト全体のクロールを制御することもできるし、特定のディレクトリやWebページへのクロールを制御することもできるよ

Allowには、クロールを許可するコンテンツはどれかを指定するよ

Disallowでクロールを制御したディレクトリやWebページ内だけど、特定のコンテンツだけはクロールを許可したい場合もあるよね

使う機会はあまりないかもしれないけど、覚えておくと便利だよ！

Sitemapには、robots.txtファイルが対象とするWebサイトのサイトマップがどこかを指定するよ

クローラーがサイトマップを把握しやすくなるから、巡回もスピーディーになるんだよ

記述していなくても大丈夫だけど、SEOにも効果があるから書いておいた方がいいよ

robots.txtが適切に設定できているかはグーグルサーチコンソールのツールで確認できるよ

配置したrobots.txtがちゃんと動いていなかったら困るよね

クロールを制御したつもりができていなかったり、制御していないはずのコンテンツにクローラーが巡回してくれないと困るから、ちゃんと確認しようね！

最後にrobots.txtについてまとめておくよ！

クロールしてもらえなくなるから慎重に設定しようねー