robots.txtとは?クローラーにどこを見てほしいか伝えよう!のアイキャッチ画像

SEO

更新日: 2023/12/31

robots.txtとは?クローラーにどこを見てほしいか伝えよう!

character_balloon

ブルーちゃんrobots.txtってわかるかしら?

うん、わかるよー

character_balloon
character_balloon

わからなくなっちゃったから、教えてくださらない?

しょうがないなー

character_balloon

じゃあ今日はrobots.txtについて話しますかー

character_balloon

robots.txtとは?

robots.txtとは?クローラーにどこを見てほしいか伝えよう!の画像_2枚目
character_balloon

robots.txtとは、コンテンツごとにクロールの拒否を設定できるテキストファイルのことだよ

character_balloon

クローラーの巡回を拒否する構文を記述してWebサイトのルートディレクトリに配置しておくと、Webページごとにクロール頻度を制御できるんだよ

character_balloon

検索エンジンからのクロールでサーバーに負荷がかかることもあるし、重要なWebページを重点的にクロールしてほしいよね

character_balloon

Googleはまずrobots.txtの内容を見て、Webサイト内のどのページを見にいくか判断するんだよ

robots.txtはSEOに効果があるの?

robots.txtとは?クローラーにどこを見てほしいか伝えよう!の画像_4枚目
character_balloon

robots.txtを設置することで、効率よくクロールしてもらえるよう制御できるよ

character_balloon

つまり、検索エンジンに評価してほしいコンテンツはクロールしてもらって、あまり評価に加えてほしくないコンテンツはクロールしないようにしてもらえるんだ

character_balloon

ユーザーにとって有用だったり、内容が充実しているコンテンツを重点的にクロールしてもらえば、評価があがってSEO対策にも有効なんだよ!

robots.txtとnoindexの違いはなに?

robots.txtとは?クローラーにどこを見てほしいか伝えよう!の画像_6枚目
character_balloon

robots.txtとnoindexは少し似ている気がするけど、目的が違うんだよ

character_balloon

noindexは、Googleなどの検索エンジンにWebサイトやWebページをインデックスさせないように制御するメタタグだよ

character_balloon

noindexしておくと、検索結果に表示自体されなくなるけど、クローラーは巡回してくるんだよ

robots.txtとnoindexはどうやって使い分ければいいの?

robots.txtとは?クローラーにどこを見てほしいか伝えよう!の画像_8枚目
character_balloon

robots.txtとnoindexの違いはクローラーが巡回するかどうかだよ

character_balloon

クローラーの巡回は制御するけど、検索結果に表示されていい場合はrobots.txtに設定しよう

character_balloon

クローラーは巡回していいけど、検索結果に表示されたくない場合はnoindexを設定しよう

character_balloon

大きな違いは、サーバーへの負荷とユーザーの目に触れるかどうかだね

robots.txtは4つの要素で構成されている!

character_balloon

robots.txtには4つの要素を設定することができるよ

character_balloon

それぞれどんな設定内容になるのか説明していくね

robots.txtの要素1.User-agent

character_balloon

User-Agentには、クロールを制御するクローラーはどれかを指定するよ

character_balloon

基本的にrobots.txtはクロールを制御するためのものだから、すべてのクローラーを指定する意味のある半角アスタリスクを設定することが多いよ

character_balloon

特定のクローラーの巡回だけ制御したいなら、制御したいクローラーのユーザーエージェントトークンを設定しようね

character_balloon

例えばGoogleのユーザーエージェントトークンは、パソコン・スマートフォン共に「Googlebot」だよ

robots.txtの要素2.Disallow

character_balloon

Disallowには、クロールを制御するコンテンツはどれかを指定するよ

character_balloon

制御する範囲によって書き方が違うから注意してね

character_balloon

Webサイト全体のクロールを制御することもできるし、特定のディレクトリやWebページへのクロールを制御することもできるよ

robots.txtの要素3.Allow

character_balloon

Allowには、クロールを許可するコンテンツはどれかを指定するよ

character_balloon

Disallowでクロールを制御したディレクトリやWebページ内だけど、特定のコンテンツだけはクロールを許可したい場合もあるよね

character_balloon

使う機会はあまりないかもしれないけど、覚えておくと便利だよ!

robots.txtの要素4.Sitemap

character_balloon

Sitemapには、robots.txtファイルが対象とするWebサイトのサイトマップがどこかを指定するよ

character_balloon

クローラーがサイトマップを把握しやすくなるから、巡回もスピーディーになるんだよ

character_balloon

記述していなくても大丈夫だけど、SEOにも効果があるから書いておいた方がいいよ

robots.txtが正しく設定できているか確認しよう

character_balloon

robots.txtが適切に設定できているかはグーグルサーチコンソールのツールで確認できるよ

character_balloon

配置したrobots.txtがちゃんと動いていなかったら困るよね

character_balloon

クロールを制御したつもりができていなかったり、制御していないはずのコンテンツにクローラーが巡回してくれないと困るから、ちゃんと確認しようね!

character_balloon

最後にrobots.txtについてまとめておくよ!

まとめ

◆robots.txtとはコンテンツごとにクロールの拒否を設定できるテキストファイルのこと


◆クロールを制御することで重要なコンテンツの評価をあげることもできる


◆noindexとは目的が違うので適切に使い分けよう


◆robots.txtには4つの要素を設定することができる

robots.txtってそんなに便利なものだったのね!

character_balloon

教えてくださってありがとう

character_balloon
character_balloon

クロールしてもらえなくなるから慎重に設定しようねー

character_balloon

ブルー

SEO
マーケティングオートメーション(MA)
アフィリエイト
wordpress

SEOやエンジニアリングマーケティングが得意。非常にめんどくさがりで、動きたくないがために自分でコードを書いて自作のMAを組んだりする。自動化のためなら努力は惜しまない。

最新の記事一覧