crawl.yahoo.netからのクロールが酷すぎる
最近、ちょくちょくサーバーが激重になって落ちるんですけど、どうしてかとログをチェックしていたら、crawl.yahoo.netから大量のアクセスがあって、それがかなり酷い。
激重時に、ログインしようとしても重くてなかなかログインできないんだけど、やっとログインして、それからtopで確認してたら・・・httpdのセッション数が信じられない数立ち上がるｗ
とりあえず、仕方ないので、サーバーリブートしてから、httpdのログを確認すると・・・
1秒に数セッションが同時にアクセスしてきて、それが数時間続く感じ・・・ これが、続くおかげで、ページに仕込んでいるCGIやらdbへのアクセスやらが飽和状態でタイムアウト連発。。。
数時間つづくって、昨日の夕方現象を確認したんだけど、今朝のついさっきまで続いていた・・・
ちょっとあまりの非常識加減に頭きましたが、とりあえず様子見で、robots.txtに
User-agent: Slurp
Disallow: /
を追加・・・これを無視するなら、ドメインを拒否設定してみる・・・
というわけで、この状態で数日様子見で、、、
Twitterを検索：yahoo
SilentSyper Wed, 08 Sep 2010 11:59:43 +0000
@balqisELF Cassies.. we need re-enforcement! pls come VOTE FOR TVXQ HERE-> http://bit.ly/aVOIKX you can vote every 10 secs.
huyahui Wed, 08 Sep 2010 11:59:39 +0000
在Yahoo奇摩新聞讀到一則關於尹恩惠為東京粉絲見面會練習吉他的新聞. 讓我興起了想找找看她的Twitter帳號是什麼的念頭. 總算被我找到囉.
akemi127 Wed, 08 Sep 2010 11:59:38 +0000
経済“そっちのけ”民主代表選 党内、熾烈な神経戦
http://headlines.yahoo.co.jp/hl?a=20100826-00000130-san-pol
内輪の騒ぎじゃなく..... http://vriend.jp/t/1282786937/
graceamtis Wed, 08 Sep 2010 11:59:36 +0000
Added RT @michelle_averil: @graceamtis ym gue averil_michelle@yahoo.co.id
dw_hobby Wed, 08 Sep 2010 11:59:25 +0000
★☆かまど炊飯釜 レトロ ☆★ http://page6.auctions.yahoo.co.jp/jp/auction/f95926121
他の検索結果・・・
まだコメントがありません
この記事へのコメントは承認してから公開されます。
