«Prev || 1 · | Next»

crawl.yahoo.netからのクロールが酷すぎる・・・その後

by tamako
0 Trackbacks 1 コメント パソコン環境

前の記事で、

User-agent: Slurp Disallow: /

でyahooさんのクローラーを拒否していますと書いていますが・・・数日間はよかったんですけど、この間やっぱり落ちました・・・えー、、、でも本当にyahooさんそんなあくどいロボットを飛ばしてくるのーーー?それ本当なら、どういう教育してんのよ!

てな感じで、多少確信が持てなくなっていたのですが、でもログをみると、やっぱり、

crawl.yahoo.net

みたいなんですよねー

なので、.htaccessにcrawl.yahoo.netを拒否するようにしてみた・・・これで様子見期間2週間ほどなんですが、今のとろ至極まともに運用です。。。マジかw

«Prev || 1 · | Next»