こんにちは。ワッカデザイン「デザインことはじめ」編集部です。

SEO対策について調べていて「クローラー」「クローリング」という言葉を目にしたことはありませんか？こと検索結果対策に関していえば、クローラーは見逃せない存在です。
どんなに綺麗で良質なWebサイトやコンテンツを作成しても、検索結果に表示されなければ誰にも見てもらえません。SEO効果を高めるためにはWebサイトを検索エンジン好みにすることが大切です。
そこで、今回はSEOで重要なクローラー、クローリングについてご説明します。

クローラーとは？

クローラーは、Webサイトのリンク情報を辿ってページの内容や構造を確認しデータベース化します。
クローラーは、インターネット上でアクセスできる情報を出来るだけ収集しようしますが、反対に、新規ページや新規サイトはクローラーが見つけにくいため、クローラーに見つけてもらうようにする必要があります。

1.SEOにおいてクローラーは重要

クローラーの巡回しやすさ（クローラビリティ）はSEOにおいて重要です。
まず、クローラーに見つけてもらえないと検索結果に表示されません。そして、クローラビリティを向上させることでクローラーの巡回頻度が高くなり、サイト更新によって検索順位への影響を出しやすくなります。SEOではクローラーを意識した対策が必要です。

2.クローラーの種類

次に、クローラーの種類についてご紹介します。特に代表的なのはGoogleの「Googlebot」です。クローラーは、検索エンジンによって独自に開発しており、GoogleやYahoo(日本以外)、Bingではそれぞれ違うクローラーが使用されています。

< 代表される検索エンジンのクローラー >
Googlebot    Googleのクローラー
yahoo Siurp  Yahooのクローラー(日本以外)
bingbot       Bingのクローラー

とはいえ、現在日本国内の検索エンジンシェアはGoogleとYahoo!だけで9割を超えています。また、Yahoo!もGoogleのシステムを利用していることから、日本国内におけるSEOではGooglebotのみを考慮して対策すれば良さそうでうですね

3.クローラーの対象ファイㇽ

クローラーは文字情報を読み込んで情報収集をします。具体的にクローラーが読み込むのは以下の通りです。
・HTMLファイル
・CSSファイル
・テキストファイル
・PHPファイル
・PDF
・WordやPowerPointなどによって作成されたファイル
・JavaScriptで生成されるリンク
・Flashの中にあるリンク
これらはすべて文字であるため、情報として読み込むことができます。反対に、クローラーは文字ではないデザインや画像の美しさなどを情報として収集することは出来ません。
その為、伝えたい情報は画像ではなく、文字で作成することが重要ですよ。

クローリング(クロール)とは

さて、次はクローリングについてご説明します。
クローラーがWebサイトの情報を収集する作業をクローリングといいます。
Googleなどの多くの検索エンジンは、クローリングによって収集された情報を蓄積した検索データベースを持っています。Web検索の結果として得られる情報は、それぞれの検索データベースに登録された情報が検索結果として表示されたものです。

クローリング(クロール)対策

クローリング対策はSEOにおける重要な施策です。クローリング対策について具体的な方法を以下でご説明します。
（１）クローラーを呼び込む
  ・URL検査
  ・サイトマップのインポート
（２）クローリングを拒否する
（３）クローラビリティを向上させる

それぞれご説明しますね。

（１）クローラーを呼び込む

クローラーを能動的に呼び込むことで、検索結果に反映されるまでの時間を短縮することができます。クローラーを呼び込む方法は、URL検査とサイトマップのインポートの二つです。

●URL検査
まず、URL検査についてご説明します。ページが新規の場合や検索結果への表示を急ぐなど、ページ単位でクローラーを呼び込みたい場合はGoogleサーチコンソールのURL検査を活用します。URL検査で対象ページの「インデックス登録をリクエスト」すると確実にGoogleのクローラーを呼び込めます。対象ページが少ない場合はこの方法がお勧めです。

●サイトマップをGoogle サーチコンソールにインポート
Webサイト全体をクローリングしてもらいたい場合は、XMLサイトマップをGoogleサーチコンソールにインポートします。XMLサイトマップとは、「更新ページのURL」「ページ更新の日時/頻度」「クローリングの優先度」を記載したファイルです。XMLサイトマップを利用することで検索エンジン側に「どのページを優先してクローリングするか」を伝えることができます。

（２）クローリングを拒否する

クローリングを促すだけでなく、あえてクローリングを避ける場合があります。SEO効果が見込めないページやWebサイトの評価を下げる恐れのあるページはクローリングを拒否します。情報が記載されていないページや読み込みに時間のかかるページなどがこれに当たります。

（３）クローラビリティを向上させる

クローラビリティの向上のために、クローラーが巡回しやすい構造にしておくことが大切です。
例えば、検索結果に表示させたいページを上部階層に設計したり、階層を少なく整理したりします。また、リンク切れページをなくすことやページの表示速度を改善することもクローラビリティの向上に繋がります。

まとめ

今回はホームページのSEOとして重要なクローリングについて簡単にご説明しました。大事なポイントは以下の通りです。
・クローリングされないページはそもそも検索結果に表示されない
・クローラーの巡回しやすさ（=クローラビリティ）を高めることはSEO面で効果的

ホームページのSEOでのクローリングの重要性についてお伝えしました。クローラーを意識したサイト設計・サイト管理を行うことでSEO効果を高められるといいですね。

ワッカデザインは、ホームページ制作・Web広告制作の経験も多数あります。
「ホームページのクローリング対策をしたい」「WebサイトのSEOを強化したい」といった場合には、お気軽にワッカデザインにご相談くださいね。