SEO
更新日: 2023/12/31
robots.txtとは?クローラーにどこを見てほしいか伝えよう!
ブルーちゃんrobots.txtってわかるかしら?
うん、わかるよー
わからなくなっちゃったから、教えてくださらない?
しょうがないなー
じゃあ今日はrobots.txtについて話しますかー
robots.txtとは?
robots.txtとは、コンテンツごとにクロールの拒否を設定できるテキストファイルのことだよ
クローラーの巡回を拒否する構文を記述してWebサイトのルートディレクトリに配置しておくと、Webページごとにクロール頻度を制御できるんだよ
検索エンジンからのクロールでサーバーに負荷がかかることもあるし、重要なWebページを重点的にクロールしてほしいよね
Googleはまずrobots.txtの内容を見て、Webサイト内のどのページを見にいくか判断するんだよ
robots.txtはSEOに効果があるの?
robots.txtを設置することで、効率よくクロールしてもらえるよう制御できるよ
つまり、検索エンジンに評価してほしいコンテンツはクロールしてもらって、あまり評価に加えてほしくないコンテンツはクロールしないようにしてもらえるんだ
ユーザーにとって有用だったり、内容が充実しているコンテンツを重点的にクロールしてもらえば、評価があがってSEO対策にも有効なんだよ!
robots.txtとnoindexの違いはなに?
robots.txtとnoindexは少し似ている気がするけど、目的が違うんだよ
noindexは、Googleなどの検索エンジンにWebサイトやWebページをインデックスさせないように制御するメタタグだよ
noindexしておくと、検索結果に表示自体されなくなるけど、クローラーは巡回してくるんだよ
robots.txtとnoindexはどうやって使い分ければいいの?
robots.txtとnoindexの違いはクローラーが巡回するかどうかだよ
クローラーの巡回は制御するけど、検索結果に表示されていい場合はrobots.txtに設定しよう
クローラーは巡回していいけど、検索結果に表示されたくない場合はnoindexを設定しよう
大きな違いは、サーバーへの負荷とユーザーの目に触れるかどうかだね
robots.txtは4つの要素で構成されている!
robots.txtには4つの要素を設定することができるよ
それぞれどんな設定内容になるのか説明していくね
robots.txtの要素1.User-agent
User-Agentには、クロールを制御するクローラーはどれかを指定するよ
基本的にrobots.txtはクロールを制御するためのものだから、すべてのクローラーを指定する意味のある半角アスタリスクを設定することが多いよ
特定のクローラーの巡回だけ制御したいなら、制御したいクローラーのユーザーエージェントトークンを設定しようね
例えばGoogleのユーザーエージェントトークンは、パソコン・スマートフォン共に「Googlebot」だよ
robots.txtの要素2.Disallow
Disallowには、クロールを制御するコンテンツはどれかを指定するよ
制御する範囲によって書き方が違うから注意してね
Webサイト全体のクロールを制御することもできるし、特定のディレクトリやWebページへのクロールを制御することもできるよ
robots.txtの要素3.Allow
Allowには、クロールを許可するコンテンツはどれかを指定するよ
Disallowでクロールを制御したディレクトリやWebページ内だけど、特定のコンテンツだけはクロールを許可したい場合もあるよね
使う機会はあまりないかもしれないけど、覚えておくと便利だよ!
robots.txtの要素4.Sitemap
Sitemapには、robots.txtファイルが対象とするWebサイトのサイトマップがどこかを指定するよ
クローラーがサイトマップを把握しやすくなるから、巡回もスピーディーになるんだよ
記述していなくても大丈夫だけど、SEOにも効果があるから書いておいた方がいいよ
robots.txtが正しく設定できているか確認しよう
robots.txtが適切に設定できているかはグーグルサーチコンソールのツールで確認できるよ
配置したrobots.txtがちゃんと動いていなかったら困るよね
クロールを制御したつもりができていなかったり、制御していないはずのコンテンツにクローラーが巡回してくれないと困るから、ちゃんと確認しようね!
最後にrobots.txtについてまとめておくよ!
まとめ
◆robots.txtとはコンテンツごとにクロールの拒否を設定できるテキストファイルのこと
◆クロールを制御することで重要なコンテンツの評価をあげることもできる
◆noindexとは目的が違うので適切に使い分けよう
◆robots.txtには4つの要素を設定することができる
robots.txtってそんなに便利なものだったのね!
教えてくださってありがとう
クロールしてもらえなくなるから慎重に設定しようねー
ブルー
SEOやエンジニアリングマーケティングが得意。非常にめんどくさがりで、動きたくないがために自分でコードを書いて自作のMAを組んだりする。自動化のためなら努力は惜しまない。
最新の記事一覧
ゲシュタルトとは?心理学の歴史や基本法則について徹底解説!
SEO
マーケティングファネルとは?4つの段階についてわかりやすく解説!
SEO
サジェスト対策はどうやる?詳しい方法やサジェストの仕組みも解説
SEO
SEOとキーワード数の関係は?目安の数やキーワードの適切な入れ方も
SEO
SEO対策を外注するメリット・デメリットは?良い業者の選び方も解説
SEO
関連キーワードとは?SEO初心者でもわかる基礎知識と活用法!
SEO
Looker Studioとは?機能や使い方をわかりやすく解説!
SEO
MEOとSEOの違いとは?どちらに注力するべきかの判断基準も解説
SEO
KPIとは?ビジネス成功のための指標と活用法を徹底解説!
SEO
定量と定性の違いとは?データ分析での効果的な使い方を解説!
SEO
校了とは?校正との違いや注意点をわかりやすく解説!
SEO
コンテンツとは?意味や具体例について初心者でもわかりやすく解説!
SEO
Googleトレンドとは?できることや使い方について詳しく解説!
SEO
コンテンツSEOとは?メリット・やり方などわかりやすく解説!
SEO
SSL化でSEO強化!Google推奨の理由と導入方法を解説!
SEO
サポートページとは?特徴と構成要素、未来展望を徹底解説!
SEO
キャッシュバスターってどんなツール?おすすめプラグインも紹介!
SEO
リダイレクトループとは?原因、特定、解決方法をそれぞれ徹底解説!
SEO
ハブページとは?3つの目的と効果的な作成・運用のコツを徹底解説!
SEO
最新の記事一覧
ゲシュタルトとは?心理学の歴史や基本法則について徹底解説!
SEO
マーケティングファネルとは?4つの段階についてわかりやすく解説!
SEO
サジェスト対策はどうやる?詳しい方法やサジェストの仕組みも解説
SEO
SEOとキーワード数の関係は?目安の数やキーワードの適切な入れ方も
SEO
SEO対策を外注するメリット・デメリットは?良い業者の選び方も解説
SEO
関連キーワードとは?SEO初心者でもわかる基礎知識と活用法!
SEO
Looker Studioとは?機能や使い方をわかりやすく解説!
SEO
MEOとSEOの違いとは?どちらに注力するべきかの判断基準も解説
SEO
KPIとは?ビジネス成功のための指標と活用法を徹底解説!
SEO
定量と定性の違いとは?データ分析での効果的な使い方を解説!
SEO
校了とは?校正との違いや注意点をわかりやすく解説!
SEO
コンテンツとは?意味や具体例について初心者でもわかりやすく解説!
SEO
Googleトレンドとは?できることや使い方について詳しく解説!
SEO
コンテンツSEOとは?メリット・やり方などわかりやすく解説!
SEO
SSL化でSEO強化!Google推奨の理由と導入方法を解説!
SEO
サポートページとは?特徴と構成要素、未来展望を徹底解説!
SEO
キャッシュバスターってどんなツール?おすすめプラグインも紹介!
SEO
リダイレクトループとは?原因、特定、解決方法をそれぞれ徹底解説!
SEO
ハブページとは?3つの目的と効果的な作成・運用のコツを徹底解説!
SEO