Фотогалереи

Услуги

Помощь при использовании сайта

Бот Twiceler упоротый?

67.218.116.132 - - [05/May/2010:19:00:53 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"
216.129.119.13 - - [05/May/2010:19:01:02 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"
67.218.116.130 - - [05/May/2010:19:03:36 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"
216.129.119.43 - - [05/May/2010:19:04:13 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"
67.218.116.162 - - [05/May/2010:19:06:44 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"
67.218.116.134 - - [05/May/2010:19:09:05 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"
216.129.119.41 - - [05/May/2010:19:09:24 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"
67.218.116.166 - - [05/May/2010:19:10:43 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"
216.129.119.40 - - [05/May/2010:19:11:29 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"
216.129.119.10 - - [05/May/2010:19:11:51 +0600] "GET /robots.txt HTTP/1.1" 200 4637 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)" "-"- "www.artemovski.ru"

Судя по логам бот неплохо упоролся и жадно жрет robots.txt. Причем такая активность каждый день. Распарсить наверно не может :-D
Скажите это он на все сайты в таком состоянии ходит или только ко мне?

0
Голосов пока нет
Ваша оценка: Нет


Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".
Аватар пользователя Katerinka

Ponravilos