http://www34.atwiki.jp/norobot/pages/15.html

ここを参考に中国検索クローラーをはじけるかどうかしばらく様子を見てみることに…

最近、中国からのクローラーがかなり多く、気になったので対策

googleの4倍クロールしてるので気持ちが悪いというのもあったり…

大陸サービス蹴り

#NAVER
SetEnvIfNoCase User-Agent “nabot” shutout
SetEnvIfNoCase User-Agent “NaverBot” shutout
SetEnvIf User-Agent ^Yeti shutout
deny from 220.95.235.165
deny from 220.95.235.166
deny from 220.95.235.176
deny from 220.95.235.177
deny from 61.247.192.0/19

#百度baiduspider
SetEnvIf User-Agent “baiduspider” shutout
SetEnvIf User-Agent “Baiduspider” shutout
SetEnvIf User-Agent “sogou spider” shutout
SetEnvIf User-Agent “Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)” shutout
deny from 122.152.128.0/23
deny from 202.96.0.0/12
deny from 202.108.0.0/16
deny from 220.181.0.0/16
deny from 60.24.0.0/13
deny from 61.135.0.0/16
deny from asd.tj.cn
deny from bta.net.cn
deny from asianetcom.net
SetEnvIf Referer “http://image.baidu.com” shutout
SetEnvIf Referer “^http://www\.baidu\.jp” shutout
SetEnvIf Referer “^http://baidu\.jp” shutout
SetEnvIf Referer “^http://www\.baidu\.com” shutout
SetEnvIf Referer “^http://www1\.baidu\.com” shutout
SetEnvIf Referer “^http://image\.baidu\.jp” shutout
SetEnvIf Referer “^http://image\.baidu\.com” shutout

#Yicha
（携帯検索と重複）
deny from 220.194.55.45

#有道Yodao
SetEnvIf User-Agent “YodaoBot” shutout
SetEnvIf User-Agent “yodaobot” shutout
SetEnvIf User-Agent “YodaoBot-Image” shutout
deny from 60.191.80.
deny from 60.191.81.
deny from 60.191.82.
deny from 60.191.83.

#OutfoxBot
#中国の個人の実験用クローラー？yodaoとIPが重複するので念のため
SetEnvIf User-Agent “OutfoxBot” shutout

order allow,deny
allow from all
deny from env=shutout

my96softではライターさんを募集中です！詳しくはこちらの記事からどうぞ

関連する項目