I-бот

77

mr. Evil

17 апреля 2009, 07:07

1289

Давно что-то бот не заходил на сайт. Точнее на страницы, читает только robots.txt и sitemap.xml ежедневно на всех новых дорах, а дальше не идет. У кого-нить кушает?

93

sosik

17 апреля 2009, 07:16

#1

У меня на последних дорах тоже самое только robots.txt и map.html

30

Evil_Genius

17 апреля 2009, 07:24

#2

У вас хоть заходит на доры бот и то радость. Про меня бот вообще забыл помоему, раньше норм ходил по всем. Наблюдается такое гдето с 10-13апреля уже((

заплыл в работе............

77

mr. Evil

17 апреля 2009, 07:31

#3

последний раз у меня бот был 14 числа до 01:30 - много чего съел, после этого по всем проектам тишина.

76

gsk87

17 апреля 2009, 13:29

#4

значит он у меня прописался...сожрал весь дор, а в индекс добавляет по чуть-чуть...

77

mr. Evil

17 апреля 2009, 18:36

#5

gsk87:
значит он у меня прописался...сожрал весь дор, а в индекс добавляет по чуть-чуть...

я про последние 2-3 дня... апа, вроде, за это время не было, до этого и у меня хорошо кушал.

[Удален]

17 апреля 2009, 18:45

#6

87.250.254.242 - - [17/Apr/2009:10:08:00 -0700] "GET /1.html HTTP/1.1" 200 3225 "-" "Yandex/1.01.001 (compatible; Win16; I)"

77

mr. Evil

17 апреля 2009, 19:04

#7

сорри, забыл добавить - тоже на главную заходит.

главная, robots.txt, sitemap.xml и все. ни одного внутряка.

<

2

<div>

17 апреля 2009, 19:24

#8

По логам яша сегодня нехило погулял по одному дору, на остальных тишина.

И ещё кто знает что это за агент ru_web_viewer larbin2.6.3@unspecified.mail???

[Удален]

17 апреля 2009, 19:37

#9

mr. Evil:
сорри, забыл добавить - тоже на главную заходит.
главная, robots.txt, sitemap.xml и все. ни одного внутряка.

у меня за сегодня 203 страницы просканил.

AX

133

ApocX

18 апреля 2009, 02:08

#10

Может у него выходные =)

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Переиграть и победить: как анализировать конкурентов для продвижения сайта