SEO
更新日: 2023/12/31
robots.txtとは?クローラーにどこを見てほしいか伝えよう!
ブルーちゃんrobots.txtってわかるかしら?
うん、わかるよー
わからなくなっちゃったから、教えてくださらない?
しょうがないなー
じゃあ今日はrobots.txtについて話しますかー
robots.txtとは?
robots.txtとは、コンテンツごとにクロールの拒否を設定できるテキストファイルのことだよ
クローラーの巡回を拒否する構文を記述してWebサイトのルートディレクトリに配置しておくと、Webページごとにクロール頻度を制御できるんだよ
検索エンジンからのクロールでサーバーに負荷がかかることもあるし、重要なWebページを重点的にクロールしてほしいよね
Googleはまずrobots.txtの内容を見て、Webサイト内のどのページを見にいくか判断するんだよ
robots.txtはSEOに効果があるの?
robots.txtを設置することで、効率よくクロールしてもらえるよう制御できるよ
つまり、検索エンジンに評価してほしいコンテンツはクロールしてもらって、あまり評価に加えてほしくないコンテンツはクロールしないようにしてもらえるんだ
ユーザーにとって有用だったり、内容が充実しているコンテンツを重点的にクロールしてもらえば、評価があがってSEO対策にも有効なんだよ!
robots.txtとnoindexの違いはなに?
robots.txtとnoindexは少し似ている気がするけど、目的が違うんだよ
noindexは、Googleなどの検索エンジンにWebサイトやWebページをインデックスさせないように制御するメタタグだよ
noindexしておくと、検索結果に表示自体されなくなるけど、クローラーは巡回してくるんだよ
robots.txtとnoindexはどうやって使い分ければいいの?
robots.txtとnoindexの違いはクローラーが巡回するかどうかだよ
クローラーの巡回は制御するけど、検索結果に表示されていい場合はrobots.txtに設定しよう
クローラーは巡回していいけど、検索結果に表示されたくない場合はnoindexを設定しよう
大きな違いは、サーバーへの負荷とユーザーの目に触れるかどうかだね
robots.txtは4つの要素で構成されている!
robots.txtには4つの要素を設定することができるよ
それぞれどんな設定内容になるのか説明していくね
robots.txtの要素1.User-agent
User-Agentには、クロールを制御するクローラーはどれかを指定するよ
基本的にrobots.txtはクロールを制御するためのものだから、すべてのクローラーを指定する意味のある半角アスタリスクを設定することが多いよ
特定のクローラーの巡回だけ制御したいなら、制御したいクローラーのユーザーエージェントトークンを設定しようね
例えばGoogleのユーザーエージェントトークンは、パソコン・スマートフォン共に「Googlebot」だよ
robots.txtの要素2.Disallow
Disallowには、クロールを制御するコンテンツはどれかを指定するよ
制御する範囲によって書き方が違うから注意してね
Webサイト全体のクロールを制御することもできるし、特定のディレクトリやWebページへのクロールを制御することもできるよ
robots.txtの要素3.Allow
Allowには、クロールを許可するコンテンツはどれかを指定するよ
Disallowでクロールを制御したディレクトリやWebページ内だけど、特定のコンテンツだけはクロールを許可したい場合もあるよね
使う機会はあまりないかもしれないけど、覚えておくと便利だよ!
robots.txtの要素4.Sitemap
Sitemapには、robots.txtファイルが対象とするWebサイトのサイトマップがどこかを指定するよ
クローラーがサイトマップを把握しやすくなるから、巡回もスピーディーになるんだよ
記述していなくても大丈夫だけど、SEOにも効果があるから書いておいた方がいいよ
robots.txtが正しく設定できているか確認しよう
robots.txtが適切に設定できているかはグーグルサーチコンソールのツールで確認できるよ
配置したrobots.txtがちゃんと動いていなかったら困るよね
クロールを制御したつもりができていなかったり、制御していないはずのコンテンツにクローラーが巡回してくれないと困るから、ちゃんと確認しようね!
最後にrobots.txtについてまとめておくよ!
まとめ
◆robots.txtとはコンテンツごとにクロールの拒否を設定できるテキストファイルのこと
◆クロールを制御することで重要なコンテンツの評価をあげることもできる
◆noindexとは目的が違うので適切に使い分けよう
◆robots.txtには4つの要素を設定することができる
robots.txtってそんなに便利なものだったのね!
教えてくださってありがとう
クロールしてもらえなくなるから慎重に設定しようねー
ブルー
SEOやエンジニアリングマーケティングが得意。非常にめんどくさがりで、動きたくないがために自分でコードを書いて自作のMAを組んだりする。自動化のためなら努力は惜しまない。
最新の記事一覧
音声検索最適化(VSO)とは?具体的なやり方を徹底解説
SEO
校閲とは?校正との違いとチェックする項目や注意するべき項目を解説
SEO
バーティカル検索とは?基本からSEO対策まで徹底解説!
SEO
X(旧Twitter)はSEOに影響を与えるの?運用のコツも解説
SEO
コピペチェックとは?おすすめのツールや引用との違いを紹介
SEO
メディアとは何か?3種類のメディアと役割、そして未来を解説!
SEO
検索上位を目指すためにすることは?基本的で重要な施策を10個紹介
SEO
スラッグとは?最適化により得られる効果と設定方法を解説!
SEO
セグメントの意味と種類を徹底解説!3つの注意点も紹介
SEO
キーワードリサーチとは?おすすめツール5選や注意点を紹介
SEO
セグメンテーションとは?ターゲティングとの違いと有名企業の成功例
SEO
最新の記事一覧
音声検索最適化(VSO)とは?具体的なやり方を徹底解説
SEO
校閲とは?校正との違いとチェックする項目や注意するべき項目を解説
SEO
バーティカル検索とは?基本からSEO対策まで徹底解説!
SEO
X(旧Twitter)はSEOに影響を与えるの?運用のコツも解説
SEO
コピペチェックとは?おすすめのツールや引用との違いを紹介
SEO
メディアとは何か?3種類のメディアと役割、そして未来を解説!
SEO
検索上位を目指すためにすることは?基本的で重要な施策を10個紹介
SEO
スラッグとは?最適化により得られる効果と設定方法を解説!
SEO
セグメントの意味と種類を徹底解説!3つの注意点も紹介
SEO
キーワードリサーチとは?おすすめツール5選や注意点を紹介
SEO
セグメンテーションとは?ターゲティングとの違いと有名企業の成功例
SEO