YourAVHost
はてブで話題になっているYourAVHost。アダルトサイトです。でも、このサイトの仕組みは面白いです。
まず、technoratiのブログ検索からYourFileHostの動画へのリンクを張っているブログを探してきてフィードを取得します。それをパー スして、各エントリーのtitleやdescriptionに対して、AV女優名が含まれているかどうかの判定を行っています。これは以前紹介した「Acme::JapaneseAvActressを使ってPerlで文章の中にAV女優の名前が含まれているかを判定する」と同じアルゴリズムで行っています。ようはこの仕組みのための布石だったわけです。 もし、AV女優名が含まれているエントリーがあればそのURLを一度フェッチして、YourFilehostへのリンクを全てひっぱてきます。
アダルトブログからリンクの情報を収集しているんですね。多分こういったブログは幾つかの動画のリンクの中にアフィリエイトの騙しリンクを貼っているような怪しげな作りのサイトが多いと思います。しかもアダルトブログの数自体、星の数ほどあるでしょう。その中から有用なリンクを探し出してコンテンツを形成するのは、言わば大量のゴミの中から宝石を探し出して販売しているようなものだと思います。スクレイピングの対象はしっかりとしたコンテンツがあるサイトだと考えていた自分にとっては、ちょっと異質な発想だなあと感心してしまいました。
追記：
今気づいたのですが、ちょっと面白い議論が起きているから追記します。
はてな村民はYourAVHostをなぜ叩かない
それに対する反論で私と似たような考えのものもやっぱりあります。
Re: はてな村民はYourAVHostをなぜ叩かない
スクレイピングは人のコンテンツを拝借している性質上、こういう 議論が起きるのは当然でしょう。そして、これからさらにスクレイピングを使った（個人）Ｗｅｂサービスが登場していくでしょうから、やがてダウンロード論争とは別の著作権論争に発展していきそうな気がします。
スクレイピングについては以下の記事がわかりやすかったです。
