robots指定でクローリング最適化をする!ホワイトハットSEO内部対策テクニック!

robots指定でクローリング最適化をする!ホワイトハットSEO内部対策テクニック!

中古ドメインや被リンクで検索上位を狙うブラックハットSEOとは違い、コンテンツ重視や内部対策で上位表示を狙うホワイトハットSEO。ホワイトハットSEOの中でも重要なことがクローラー最適化です。

ユーザービリティ(UX)を重視すると共に、検索エンジンロボットに対しても快適にクローリング出来るよう配慮することが求められています。

そこで今回は「robots」を使ったクローラー最適化についてご紹介します。

スポンサーリンク

サイト全体やディレクトリ全体

下記のみを記述したrobots.txtというテキストファイルを、クローリングさせたくない階層にアップする。

User-agent: *
Disallow: /

ページ単位

<meta name="robots" content="noindex,nofollow">

index
このページは検索データベースへの登録を許可します。インデックスさせます。

noindex
このページは検索データベースへの登録を禁止します。インデックスさせません。

follow
クローラーがこのページに含まれるリンクをたぐることを許可します。

nofollow
クローラーがこのページに含まれるリンクをたぐることを禁止します。

noarchive
ページの検索データーベースにキャッシュを残さない。ECサイトや会員サイトなどに使われる。

まとめ

metaでのクローラー制御は、headのなるべく上位で宣言する。

noindexはコンテンツが少なく、インデックスさせる必要がないページ。つまりお問い合わせページやサンクスページなどに使用する。

また、サイトマップページやリンクページなどは、クローラーからするとリンクばかりのスパムページとみられる事もある。この場合は、noindexにしてインデックスせず、followでページランクはしっかり配分させる。

Web
この記事を書いた人
管理人

10-PLATEの管理人。ゲームとアニメが趣味の30代おっさん。テレビや芸能情報といったトレンドをまとめることを生業としている底辺中の底辺なので温かい目で見てやって下さい。

管理人をフォローする
スポンサーリンク
スポンサーリンク
10-PLATE
スポンサーリンク

記事のコメント