top

menu

クローラビリティ、意識してる?改めて知るべき「クローラーとは」

8

マーケティング担当者であれば、一度は「SEO対策」という言葉を耳にしたことがあると思います。中には、SEO対策が重要だということがわかっているけどまずなにからすればいいのかわからない…と手をつけられていない方も多いのではないのでしょうか。

SEO対策を始めるためにはまず、Googleなどの検索エンジンにあなたのWebサイトの情報が登録されなければ意味がありません。このとき、Webサイトの情報を収集するロボットのことを「クローラー」といいます。

今回はクローラーについて、そしてどうすればSEO対策につながるのかをご紹介します。

クローラー?インデックス?よく聞くワードを解説!

まずはじめに、クローラーについて調べるときに必ず出てくるといわれる用語をまとめて解説します。

クローラーとは

クローラーとは、Googleなどの検索エンジンがWeb上の情報(Webサイト・画像・PDF・HTML文書など)を収集するためのプログラムのことです。サーチロボットとも言われています。

そして、Web上の情報を収集することを「クロール」と呼びます。Webの海を泳いでいる ということからでしょうか。

インデックスとは

インターネットにつながっているWebサイト・画像・PDF・HTML文書などの情報を収集し、検索データベースに保管することを「インデックス化」といいます。索引や見出しといった意味を持つ言葉で、格納されたデータをより早く検索したり、抽出できるように作られる索引データのことです。

Googleで検索したときに上に出てくる「約10,000,000件」といった数字を見たことがありませんか?この件数をインデックス件数と言い、検索キーワードに関連すると検索エンジンが判断したインデックス済みページ数になります。 インデックス

では、インデックスが多い、すなわちページ数が多い方ががSEO対策には有利なのでしょうか?答えはYesでもあり、Noでもあります。検索されたキーワードに関連するページが多ければYesという答えになりますし、全く関係のない適当なページが多ければ答えはNoになります。むやみにページ数を増やせばいいってわけでもないのです。

クローラーは各検索エンジンごとに存在する?

検索エンジンごとにクローラーは存在しますが、その中でも最も有名なのはGoogle botではないでしょうか。

Google botはGoogleのWeb上におけるクローラーで、さまざまな種類があります。 Googleの画像検索にはGoolebot-Image,モバイル検索にはGooglebot-Mobileといった種類のクローラーが存在します。

YahooはGoogleの検索順位を採用しているため、Googleのクローラーを意識していればYahooのSEOも対策できるといえます。日本の検索エンジンのシェアはGoogleとYahooで約9割を占めているので、実質Googlebotを気にしていれば良いと言っても過言ではないでしょうか。ですので、ここから先はGoogle botのクローラー対策についてご紹介します。

ちなみに、公式キャラクターもいるんですよ。かわいいですね!

クローラのキャラクター

クローラビリティってなに?

「クローラビリティを上げる」という言葉を耳にしたことがある人もいるのではないでしょうか。クローラビリティとは簡単に言えば、クローラーがクロールしやすいようにする、つまりクローラーがサイト内を巡回しやすいようにすることです。クローラビリティを向上さ せればそれだけクローラーがサイト内を巡回してくれるということになるので、SEO対策にも繋がります。

クローラーはインターネット上に繋がっていれば、できるだけWebサイト上を巡回し、情報収集をしようとします。しかし、クローラーはすべてのWebサイトを漏れなく巡回することはできません。また、公開してすぐに発見し、巡回してくれるとも限りません。ですから、いかに効率よくクローラビリティをあげてWebサイト内を巡回させるかがSEOの順位をあげるかというポイントになります。

では、クローラビリティを上げるにはどうすればいいのでしょうか?

クローラビリティを向上させるには

1.クロールできる状態にする

クローラーがWebサイト上を巡回するためには、クローラーにWebサイトを発見してもら わないと意味がありません。クローラーが見るWebサイトと、私たちユーザーが見るWeb サイトは見方が全く異なるため、クローラーが読み取れるテキスト情報が不可欠というわけ です。クローラーが読み取れる情報が不足、もしくは不適切な場合は検索結果に反映されな いということもあります。

2. リンク階層

GoogleはURLの長短はランキングに関係ないと宣言しています。しかし、URLの階層は関 係してきます。例えば、AとBのURLがあった場合、Aのほうが重要視されるそうです。

A https://www.innovation.co.jp/b2blog/
B https://www.innovation.co.jp/b2blog/exhibition_achievement/

重要視されるということは、URLが発見しやすいということです。つまり、階層が浅いほうが先に発見されやすいということになりますね。

3.Google Search Consoleでサイトマップが正しく送信されているか確認する

ここでいう「サイトマップ」とはGoogleなどの検索エンジンにホームページの存在を示すことができるXMLファイルのことを指します。このsitemap.xmlを正しく作成し適したディレクトリに設置していればGoogleクローラーはサイトマップを読み込んでくれます。しかし、記述に誤りがあったりすると読み込んでもらえなくなってしまうため、Googleが提供しているツール「Google Search Console」で正しくsitemap.xmlが読み込まれているかを確認しましょう。

4.Google Search ConsoleのFetch as Googleを活用する

Fetch as Googleは、Googleにクロールを促す機能があります。サイト更新したり、新しいページを追加したなど、すぐにGoogleにページを読み込んでもらいたい場合は活用できます。

5. リンクのないページを排除する

先述しましたが、クローラーはURLを見つけてリンクに飛びます。そのため、存在しないページに遷移するリンクがないかを確認し、削除していきましょう。

6. パンくずリストの設定

「パンくずリスト」とは、ユーザーが閲覧しているページがホームページ全体のどの位置なのか、階層なのかがわかる、いわば案内図のようなものです。これを設定することによって、クローラーに発見されやすくなりますが、施策を試したからといって、必ずしもクローラーが巡回しにくるわけではありません。なぜなら、Google次第であるからです。

以上のような対策をしてクローラビリティが向上しても、クローラーがWebサイトにきていることがわからなければ意味がないですよね。ではどうすればわかるのでしょうか?

クローラーがWebサイトにきているか確認しよう!

主な方法は2つあります。

1. 「site:検索」を使用
「site: www.innovation.co.jp/b2blog/」のように、「site:クローラーが来ているか調べたいURL」でGoogle検索をかけることによって、そのページにクローラーがきているのかがわかります。もし、そのページが表示されない場合は、Fetch as Googleでクロール申請をかけたり、インデックスを防ぐnoindexの記述がないかなど確認しましょう。
2. Google Search Consoleを使い、「クロールの統計情報」を閲覧。
Google Search Console内の「クロール」→「クロールの統計情報」にて、クローラーがどれくらいあなたのWebサイト情報を読み込んでいるのかを見ることができます。なにもしていないのに極端に増えた・減ったなどした場合は原因を探ってみましょう。

これらの方法であなたのWebサイトがどれくらいクロールされたのかが数値で確認できます。もしこの数値が低いようでしたら、施策をもう一度見直すべきです。

さいごに

今回はクローラーとはなにかということをお話しました。きちんとした対策をしないとクローラーに認識されず、検索順位は上がりません。 ぜひ一度あなたのWebサイトのクローラビリティを見直してみてはいかがでしょうか。

BtoBマーケティングスタートアップガイド

一緒に読まれている記事

  • [公開日]2017年07月14日
  • [最終更新日]
  •   
listfinder

キーワードから記事を探す

メルマガ登録


プライバシーポリシーに同意の上、ご登録ください。

最新記事やお役立ち資料をお届けしています!

最新の記事

今週の人気記事

カテゴリーから記事を探す

お役立ち資料 月間DLランキング

 第 1 位BtoBマーケティングスタートアップガイド(基本編)
 第 2 位簡単に始めるリードナーチャリング実践ガイド
 第 3 位一歩進んだメールマーケティング手法