最近くるのをしばしば見るbot.
Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/;)
http://www.yodao.com/だろう。Yet another 中華サーチエンジンかな。
まったく同じものを同じタイミングで2回取ってることがあるぐらいで、特にDoSっぽい印象は今のところないが、中国のサーチエンジンとかクローラというものを一切信用していないし、クロールされるメリットは私にはまったくない。
転ばぬ先の杖というやつで、拒否リストに追加しておいた。残念ながら、こういうのはもはや運用の基本ノウハウですよね。
現在のUSER_AGENT拒否はこんな感じ。
BrowserMatch "Naver" denied_agent BrowserMatch "Yeti" denied_agent BrowserMatch "Baiduspider" denied_agent BrowserMatch "Gaisbot/" denied_agent BrowserMatch "dloader" denied_agent BrowserMatch "Website Explorer" denied_agent BrowserMatch "sohu agent" denied_agent BrowserMatch "psbot" denied_agent BrowserMatch "iaskspider" denied_agent BrowserMatch "Accoona-AI-Agent" denied_agent BrowserMatch "Shim-Crawler" denied_agent BrowserMatch "QihooBot" denied_agent BrowserMatch "Twiceler" denied_agent BrowserMatch "YodaoBot" denied_agent <Location /> deny from env=denied_agent </Location>
