中古ドメインや被リンクで検索上位を狙うブラックハットSEOとは違い、コンテンツ重視や内部対策で上位表示を狙うホワイトハットSEO。ホワイトハットSEOの中でも重要なことがクローラー最適化です。
ユーザービリティ(UX)を重視すると共に、検索エンジンロボットに対しても快適にクローリング出来るよう配慮することが求められています。
そこで今回は「robots」を使ったクローラー最適化についてご紹介します。
サイト全体やディレクトリ全体
下記のみを記述したrobots.txtというテキストファイルを、クローリングさせたくない階層にアップする。
User-agent: * Disallow: /
ページ単位
<meta name="robots" content="noindex,nofollow">
index
このページは検索データベースへの登録を許可します。インデックスさせます。
noindex
このページは検索データベースへの登録を禁止します。インデックスさせません。
follow
クローラーがこのページに含まれるリンクをたぐることを許可します。
nofollow
クローラーがこのページに含まれるリンクをたぐることを禁止します。
noarchive
ページの検索データーベースにキャッシュを残さない。ECサイトや会員サイトなどに使われる。
まとめ
metaでのクローラー制御は、headのなるべく上位で宣言する。
noindexはコンテンツが少なく、インデックスさせる必要がないページ。つまりお問い合わせページやサンクスページなどに使用する。
また、サイトマップページやリンクページなどは、クローラーからするとリンクばかりのスパムページとみられる事もある。この場合は、noindexにしてインデックスせず、followでページランクはしっかり配分させる。
記事のコメント