crawl.yahoo.netからのクロールが酷すぎる・・・その後
前の記事で、
User-agent: Slurp Disallow: /
でyahooさんのクローラーを拒否していますと書いていますが・・・数日間はよかったんですけど、この間やっぱり落ちました・・・えー、、、でも本当にyahooさんそんなあくどいロボットを飛ばしてくるのーーー？それ本当なら、どういう教育してんのよ！
てな感じで、多少確信が持てなくなっていたのですが、でもログをみると、やっぱり、
crawl.yahoo.net
みたいなんですよねー
なので、.htaccessにcrawl.yahoo.netを拒否するようにしてみた・・・これで様子見期間２週間ほどなんですが、今のとろ至極まともに運用です。。。マジかw
Twitterを検索：yahoo
GinaRS Wed, 08 Sep 2010 12:38:13 +0000
25 little changes that help you shed pounds http://t.co/8IU1G5p (via @MensHealthMag) Stay healthy through the winter!
WriteTips Wed, 08 Sep 2010 12:38:12 +0000
#writing Chemotherapy Drug Does Not Improve Overall Survival After Resection Of Pancreatic Cancer Compared T... http://mnt.to/f/3Jqv #Yahoo
WriteTips Wed, 08 Sep 2010 12:38:11 +0000
#writing KSFY Action News: Breaking News, Weather and Community |State Fair attendance may be better than la... http://bit.ly/aBRqwx #Yahoo
AFBMortgages Wed, 08 Sep 2010 12:38:03 +0000
Lenovo and CIT Expand Financial Services Program to Europe: [Business Wire] - RESEARCH TRIANGLE PARK, N.C. & NEW Y... http://bit.ly/bXFIIY
nabilahpw Wed, 08 Sep 2010 12:38:03 +0000
add YM gue yah : nabilahputriwahyu@yahoo.co.id thankies
他の検索結果・・・
この記事へのコメントは承認してから公開されます。
