robots指定でクローリング最適化をする！ホワイトハットSEO内部対策テクニック！

中古ドメインや被リンクで検索上位を狙うブラックハットSEOとは違い、コンテンツ重視や内部対策で上位表示を狙うホワイトハットSEO。ホワイトハットSEOの中でも重要なことがクローラー最適化です。

ユーザービリティ（UX）を重視すると共に、検索エンジンロボットに対しても快適にクローリング出来るよう配慮することが求められています。

そこで今回は「robots」を使ったクローラー最適化についてご紹介します。

サイト全体やディレクトリ全体

下記のみを記述したrobots.txtというテキストファイルを、クローリングさせたくない階層にアップする。

User-agent: *
Disallow: /

<meta name="robots" content="noindex,nofollow">

index
このページは検索データベースへの登録を許可します。インデックスさせます。

noindex
このページは検索データベースへの登録を禁止します。インデックスさせません。

follow
クローラーがこのページに含まれるリンクをたぐることを許可します。

nofollow
クローラーがこのページに含まれるリンクをたぐることを禁止します。

noarchive
ページの検索データーベースにキャッシュを残さない。ECサイトや会員サイトなどに使われる。

metaでのクローラー制御は、headのなるべく上位で宣言する。

noindexはコンテンツが少なく、インデックスさせる必要がないページ。つまりお問い合わせページやサンクスページなどに使用する。

また、サイトマップページやリンクページなどは、クローラーからするとリンクばかりのスパムページとみられる事もある。この場合は、noindexにしてインデックスせず、followでページランクはしっかり配分させる。