検索エンジンのロボットが、Webサイトを巡回する「クロール」の促進はSEOにおいて、必ず取り組むべき施策の1つです。

しかし、クロールが何なのかが分かっていない人や、クロールを促進する方法が分からない人も多いのではないでしょうか。

本記事では、クロールの概要を解説するとともに、クロール状況の確認の仕方や、クロールを促す方法について解説します。

SEOにおいて、必須の内容となっているので、ぜひ参考にしてください。

目次
クロール（クローリング）とは
クローラーの種類

クロール（クローリング）とは

クロールとは、検索エンジンのロボットが、Webサイトを巡回しHTMLファイルなどの読みこみを行い、Webページを検索結果として表示させるためのデータベースに登録することです。

クロールを行うロボットのことを、「クローラー」と言い、クローラーはできる限りWebサイトから情報を収集します。

収集する情報としては、HTMLファイルやPHPファイルはもちろんのこと、その中に記載されているリンク先の情報も含まれます。

これらの情報を基に、サイトの構造を把握した状態でデータベースへの登録を行うのです。

当然ながら、クローリングされていないWebサイトは検索結果に表示されないため、クローラーがWebサイトを見つけられるようにリクエストを送ったり、Webサイトをクロールしやすい状態に整えたりすることが必要です。

なお、Webサイトをクロールしやすい状態に整えることを「クローラビリティを高める」と言います。

クローラーの種類

一口にクローラーと言っても、検索エンジンによってクローラーの種類は異なります。
それぞれの検索エンジンにおける、クローラーは以下のとおりです。

・ Google：Googlebot
・ Bing：bingbot
・ 百度：Baiduspider
・ NAVER：Yetibot

なお、日本でSEOを行う場合は、Googlebotのみを考慮してサイトを制作する形で問題ありません。

なぜなら、日本では、Googleが検索エンジンのシェアNo.1であるうえに、2番目のシェアを誇るYahoo!もGoogleのクローラーとアルゴリズムに則って、検索結果を表示しているからです。

つまり、Googlebotに評価されることが、国内での検索順位を高めることに直結するのです。