企業のウェブページを検索エンジンで上位に表示させるために、できるだけ多くのページをインデックスさせようと躍起になるマーケターが大勢います。
たしかに、特定のキーワードに関連して、より多くのウェブページを公開すれば、そのキーワードで検索順位が高くなることが期待でるでしょう（もちろん、ページの質が高いことも必要です）。ですが、検索エンジンにインデックスさせない方がよいページも、実はウェブサイトに存在するのです。
驚きましたか？ でもこれ、本当なんです。
ではなぜそのページはSERP（Search Engine Results Page： 検索エンジン結果ページ）に表示させない方がよいのでしょうか。今回はその理由についてご説明したいと思います。また、ページを検索エンジンにインデックスさせない方法についてもご紹介します。
検索結果にウェブページを表示させない方がよい理由
検索結果ページに表示させないよう、クロールやインデックスから除外すべきウェブページ（またはウェブページの一部）はいくつもあります。
特に多いのは、印刷用ページが用意されているなど、同じコンテンツが複数のページで表示されるケースです。このような場合、一つのページだけインデックスされる方が有利になるからです。
そしてもう一つ、注目すべき重要な理由があります。サンキューページです。これは通常、訪問者がランディングページで無料ガイドブックなどのオファーを要求した後に表示される、PDFダウンロードのリンクなどが表示されたページです。
一例として、HubSpotによる無料ガイドブックのサンキューページをご覧ください。
このページは、ランディングページでフォームに自分のコンタクト情報を入力した人には表示したいけれども、検索でこのページを見つけた人には表示したくありません。
なぜなら、ランディングページではなく検索結果ページからサンキューページに移動した人は、フォームに個人情報を入力して送信しなくても、つまり、リードに転換することなく、オファーを入手できてしまうからです。
ランディングページでリードを獲得することの価値を理解している人なら、訪問者がリードに転換しないままサンキューページからオファーを入手することが、どれほど深刻なダメージになるかがわかると思います。
もし、貴社のサンキューページがGoogle 検索で簡単に見つかるようなら、価値の高いリードを数多く失っているかもしれません。
また最悪の場合、何かのロングテールキーワードで検索をしたとき、非常に高い順位で表示されるページがサンキューページだったとすると、リードに転換する可能性のある何百人という人が、フォームに個人情報を入力せずにオファーを入手したかもしれません。そう考えれば、SERPに表示させるべきでないページが存在するということも、十分に納得がいくと思います。
さて、次からはウェブページが検索エンジンにインデックスされないようにする方法について説明します。方法は2通りあります。
ウェブページを検索エンジンにインデックスさせないための２つの方法
方法その１： robots.txtファイルをサイトに追加する
この方法は、インデックスさせない対象を細かく制御したい場合で、かつ、コンピュータに詳しい人が作業できる場合に使用してください。
ウェブサイトにrobots.txtファイルを追加することで、ページがSERPに表示されるのを防ぐことができます。この方法のメリットは、インデックスを許可するコンテンツを細かく制御できるため、それ以外のコンテンツが検索結果ページに表示される心配をしなくて済むという点です。
robots.txtファイルを使用すると、1つのページ、ディレクトリ全体、または1つの画像やファイルなども、インデックスの対象から除外するよう指定することができます。また、ウェブサイトでGoogle AdSense広告の動作を有効にしたまま、クロールは拒否するといった指定も可能です。
この方法では、コンピュータに関する高度な知識が必要になります。robots.txtファイルの作成方法について知りたい方は、Google によるこちらの記事をご覧ください。
HubSpotのユーザーの方は、robots.txtファイルをウェブサイトにインストールする方法をこちら（英語）から、そして、robots.txtファイルの設定をカスタマイズする方法についてこちら（英語）からご覧ください。
robots.txtファイルを使うほど詳かく制御する必要はなく、高度な知識が不要で簡単に設定したい場合は、次に説明する2つ目の方法を選んでください。
方法その２： 「noindex」タグや、「nofollow」タグを追加する
この方法は、簡単な方法でウェブページ全体をインデックスの対象から除外したい場合や、ウェブページに含まれるリンクをインデックスの対象から除外したい場合に使用してください。
メタタグを使用すると、ウェブページ全体やウェブページ上のリンクを、簡単かつ効率的にインデックスの対象から除外することができます。テクニカルな知識はほとんど必要なく、またCMS（コンテンツ管理システム）を使用していれば、コピー＆ペーストの作業だけで済みます。
この方法では「noindex」と「nofollow」という2つのタグを使用します。タグを追加する方法を説明する前に、まず2つのタグの違いについて詳しく説明したいと思います。「noindex」と「nofollow」は、完全に異なる2つのディレクティブです。片方だけ使用することもできれば、2つを同時に使用することもできます。
「noindex」タグとは？
ウェブページに「noindex」のメタタグを追加すると、検索エンジンに対し、ページのクロールは許可するけれども、ページを検索のインデックスに追加することは許可しないと伝えることができます。
したがって、「noindex」ディレクティブが指定されたページは、検索エンジンの検索インデックスに登録されず、そのため検索エンジンの結果ページに表示されることもありません。
「nofollow」タグとは？
ウェブページに「nofollow」のメタタグを追加すると、検索エンジンに対し、ページに含まれるリンクのクロールを許可しないと伝えることができます。また、これによって、SERPでの順位のオーソリティが、リンク先のページに渡されることもなくなります。
したがって、「nofollow」ディレクティブが指定されたページでは、Googelやその他の検索エンジンによって、すべてのリンクがクロールの対象から除外されます。
「noindex」と「nofollow」を片方だけ、あるいは両方使用する理由
先ほどもお話ししたように、「noindex」と「nofollow」のディレクティブは、片方だけでも、あるいは同時に使用することもできます。
「noindex」タグだけを追加する： ウェブページを検索エンジンにインデックスさせたくはないが、ウェブページ上のリンクはフォローして欲しい場合（つまり、リンク先のページにランキングのオーソリティを与えたい場合）に使用します。
この典型的な例といえば有料のランディングページです。表示のたびに費用がかかるため、検索エンジンにインデックスされたくはないが、リンク先ページにオーソリティを獲得して欲しいという理由で、「noindex」タグだけを使用します。
「nofollow」タグだけを追加する： ウェブページを検索エンジンにインデックスしてもらいたいが、ページ上のリンクはフォローして欲しくない場合に使用します。
「noindex」タグを追加せず、「nofollow」タグだけを追加する例というのはあまり見かけません。ほとんどが「noindex」タグを「nofollow」と一緒に使用するか、あるいは「nofollow」を追加しないで使用するかのどちらかになると思います。
「noindex」タグを「nofollow」タグと一緒に追加する： ウェブページを検索エンジンにインデックスさせたくないと同時に、ページ上のリンクをフォローして欲しくない場合に使用します。
サンキューページがこの典型的な例といえます。サンキューページを検索エンジンにインデックスしてもらいたくはないし、オファーへのリンクをフォローしてオファーコンテンツをインデックスしてもらいたくもないという理由で、この2つのタグを使用します。
「noindex」タグおよび「nofollow」タグを追加する
手順１： 次のタグをコピーします。
「noindex」の場合：
「nofollow」の場合：
「noindex」と「nofollow」を両方追加する場合：
手順２： コピーしたタグを、ウェブページのHTMLでのセクション（つまりページのヘッダー）に追加します。
HubSpotのユーザーの方は、この手順を非常に簡単に行うことができます。こちらをクリックするか、HubSpotユーザーの方への操作説明を参照してください。
HubSpotのユーザーでない方は、ウェブページのHTMLコードにタグを自分でペーストする必要がありますが、簡単ですので心配ありません。手順は次のとおりです。
最初に、インデックスから除外するウェブページのHTMLコードを開きます。次に、ページのヘッダーと呼ばれるセクションに行を追加してタグをペーストしてください。スクリーンショットを見ながら具体的に説明しましょう。
タグが置かれているのがヘッダーの開始位置です。
このヘッダーの内部に「noindex」タグと「nofollow」タグをペーストしてください。
そして、タグはヘッダーの終了を意味します。
たったこれだけです。以上でこのページをインデックスの対象から除外し、検索結果ページに表示させないことを、検索エンジンに伝えることができます。
HubSpotのユーザーの方は、さらに簡単に「noindex」タグと「nofollow」タグを追加できます。HubSpotツールでタグを追加するウェブページを開いて、［Settings］タブを選択してください。
次に、 ［Advanced Options］までスクロールして［Edit Head HTML］をクリックします。ウィンドウが表示されますので、タグのコードをペーストしてください。下の画像は「noindex」タグと「nofollow」タグを追加しているところです。
［Save］をクリックして完了です。
まとめ
今回の記事では、ウェブページを検索エンジンの結果ページに表示させないための方法について説明しました。このようにごく簡単な方法だけで、貴重なリードを獲得し損ねるのを防ぐことができます。
ただし、この効果はすぐには現れないことを覚えておいてください。HTMLコードにタグを追加しても、次回検索エンジンがページをクロールするまでは適用されません。ウェブサイトにどのくらいの頻度でページを公開しているかによっても違いますが、数週間ほどかかると考えてください。
ページを頻繁に公開していれば、そのぶん検索エンジンがサイトをクロールする回数も多くなります。Google がどのくらいの頻度でウェブサイトをクロールしているか知りたい場合は、こちらのページからウェブサイト用Fetch as Google ツールを使用し、クロールのデータを確認することをお勧めします。
「noindex」タグを追加したにもかかわらず、Google の検索結果ページに表示されてしまう場合は、おそらくタグを追加して以降、Google がまだウェブサイトをクロールしていないと思われますので、Fetch as Google ツールを使用して、Google にクロールをリクエストするとよいと思います。
また、検索エンジンの種類によっては、今回の2つのディレクティブがGoogle とは違う方法で処理される場合もあります。そのため、タグを追加した後も、他の検索エンジンがウェブページを結果ページに表示することがあるかもしれません。ですが、Googlに対してタグを追加しておけば（そしてGoogle がウェブサイトをクロールしさえすれば）、それで十分だと思います。
とにかく、ウェブページを検索結果ページに表示させないようにすることは簡単にできます。それさえわかれば、マーケターの皆さんも少しは安心して眠れることと思います。
ウェブページをインデックスから除外する際に便利なテクニックについて、何かほかにご存知ですか？ あるいは除外したほうがよい例をほかにご存知でしたら、下のコメント欄でお聞かせください。
編集メモ：この記事は、2016年7月に投稿した内容に加筆・訂正したものです。Lindsay Kolowichによる元の記事はこちらからご覧いただけます。
