Форум Поисковые системы Прочие поисковики

Отсутствие robots.txt

12
Q
На сайте с 12.09.2005
Offline
13
qsin
#11

Ок! Но почему только 5? У меня страниц-то гораздо больше! Почему все не индексит?

K
На сайте с 31.01.2001
Offline
737
Kost
#12
положено смотреть в логи своего сайта, сколько страниц взяли роботы. Посмотрите.

Посмотрели?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Q
На сайте с 12.09.2005
Offline
13
qsin
#13

Так это все понятно. Но есть мнения, почему робот берет только 5 страниц, а не все сразу. Робот же должен все индексировать, а здесь - выборочно! Вот в чем вопрос...

harvester
На сайте с 25.07.2005
Offline
164
harvester
#14

Робот сразу все НЕ берет. Запомни это. Если, конечно, сайт целиком не состоит из 5 страниц. А вот когда за остальными придет...

Наверно у робота есть лимит по количеству вновь найденных страниц на каком-либо сайте.

Если ты не один... значит ты ноль!
Ayavryk
На сайте с 11.10.2003
Offline
209
Ayavryk
#15

отсутствие роботса загаживает error.log Не крититчно конечно, но путается под ногами, если туда регулярно заглядывать.

Тынгыр, мынгыр, комсомол (http://erum.ru). Ехари, ехари, (жалобно) аяврик. /народная тунгусская песня/
Q
На сайте с 12.09.2005
Offline
13
qsin
#16

Ничего не понял про error.log... Объясните, пожалуйста, что и кого "загаживает"...

Ayavryk
На сайте с 11.10.2003
Offline
209
Ayavryk
#17
qsin:
Ничего не понял про error.log... Объясните, пожалуйста, что и кого "загаживает"...

роботы при заходе его запрашивают. Если такого файла нет, то возникает ошибка 404, которая записывается в лог ошибок.

[Удален]
#18

Гы, а если есть, то 200ок. Какая разница ?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий