crawl.yahoo.netからのクロールが酷すぎる・・・その後
前の記事で、
User-agent: Slurp Disallow: /
でyahooさんのクローラーを拒否していますと書いていますが・・・数日間はよかったんですけど、この間やっぱり落ちました・・・えー、、、でも本当にyahooさんそんなあくどいロボットを飛ばしてくるのーーー?それ本当なら、どういう教育してんのよ!
てな感じで、多少確信が持てなくなっていたのですが、でもログをみると、やっぱり、
crawl.yahoo.net
みたいなんですよねー
なので、.htaccessにcrawl.yahoo.netを拒否するようにしてみた・・・これで様子見期間2週間ほどなんですが、今のとろ至極まともに運用です。。。マジかw