スクレイピングによる自動生成スパムサイトからのリンクの対策

2015年12月29日のEnglish Google Webmaster Central office-hours hangoutのGoogle社員のJohn Mueller氏の回答を紹介します。

質問

Our source code was copied and iFrame placed over it to create websites hosted on ad servers.We found over 50 sites that still show our links and link back to us.Is Google able to spot that this is malicious?And other than disavow,what can we do?

私たちのソースコードがコピーされて、iFrameがその上に置かれて、アドサーバーにホストされているウェブサイトが作成されていました。50以上ものサイトが、私たちのリンクを表示していて、私たちへリンクを返していることを見つけました。Googleはこれを悪意のあることだと発見することができますか？そして、（リンクの）否認以外に、なにかできることはありますか？

回答

I think disavow was a great thing to do in a case like that.You might consider using the spam report tool as well,depending on what exactly is happening there.But in general, we recognize this kind of situation.And we should be able to handle it fairly well.If you see that we’re not handling it well where some hack site is shown your content and ranking above you, that’s something we’d love to hear about.

そのようなケースについては、否認が優れた措置だと思います。スパムレポートツールを使うことも検討しましょう、どのようなことが発生しているかによっては。しかし一般的には、Googleはこのような事態を認識しています。そしてこれについては十分適切に扱うことができていないといけません。もし、ハックサイトがご自身のコンテンツを表示していて、ランキングが上位に表示されているというような、Googleが扱えていない状況を見つけたらぜひ知らせてほしいと思います。

解説

スクレイピングとは

Webページの情報を自動的に取得する行為を「スクレイピング」といいます。

Googleといった検索エンジンが行うのもスクレイピングの一種です。問題になるのはスパマーがこれを悪用するからです。
誰かが作成したコンテンツをスクレイピングして、スパマーがページを再生成する行為が問題なのです。

スクレイピングサイトからのリンクの問題とは

検索順位を上昇させることを意図してのリンクは検索エンジンからペナルティの原因となります。
スクレピングサイトからのリンクは、検索エンジンから見た時には前述の意図のリンクに見えてしまいます。

悪意がないにもかかわらず順位が下がってしまい、その上、スクレイピングサイトの方が検索上位に上がってしまう。という最悪の結果を招く可能性があるわけです。

考察

これは現時点におけるSEOの超難問の一つだと思います。
日本のウェブマスターフォーラムでもこの種の質問はなされているのですが、決定的な対応策がないのが現実です。

コピーしたサイトの方が上位表示されてしまっている場合は、スパムレポートの送信を行いかつリンクの否認をするということですが、これでも決定打にはならないのが現実です。
スパムレポートの送信は数えきれないほど行っていますが、対応してくれたケースはありませんでした。また、リンクの否認は本来は自分が悪いことをしたわけでなければやる必要はないものです。

ウェブマスターは普通にウェブサイトを運営していれば、SEOのことを気にする必要はないというのが原則です。

ところがこの回答はリンクの状況を監視して否認するといった、自衛策を取らねばならないということを意味しています。
Googleがこの問題に対してどのような対策をとるのか？この問題に私はとても注目しています。

私がもしGoogleのアルゴリズムを考える立場であったとしても、対応するいい方法が思いつきません。

しかし、Googleはこの問題を認識しているので、いずれ何らかの回答を出すのではないでしょうか。それをまずは待つしかないと思います。