67.218.116.132 — — [05/May/2010:19:00:53 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru» 216.129.119.13 — — [05/May/2010:19:01:02 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru» 67.218.116.130 — — [05/May/2010:19:03:36 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru» 216.129.119.43 — — [05/May/2010:19:04:13 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru» 67.218.116.162 — — [05/May/2010:19:06:44 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru» 67.218.116.134 — — [05/May/2010:19:09:05 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru» 216.129.119.41 — — [05/May/2010:19:09:24 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru» 67.218.116.166 — — [05/May/2010:19:10:43 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru» 216.129.119.40 — — [05/May/2010:19:11:29 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru»
216.129.119.10 — — [05/May/2010:19:11:51 +0600] «GET /robots.txt HTTP/1.1» 200 4637 «-» «Mozilla/5.0 (Twiceler-0.9 » «-«- «www.artemovski.ru»
Судя по логам бот неплохо упоролся и жадно жрет robots.txt. Причем такая активность каждый день. Распарсить наверно не может 😀
Скажите это он на все сайты в таком состоянии ходит или только ко мне?