admad

admad
Рейтинг
126
Регистрация
22.06.2004
admad, "robots.txt глазами Яндекса" - http://kako.yandex.ru/cgi-bin/test-robots

не маленький поди :) что с пустыми строками что без пустых строк пишет одно и тоже, но все равно ходит если встречается ?

Блин! Вот это тема :) Все вверх! Из грязи в князи :)

Дело в том что логи храняца на серваке месяц. Прошлый раз особо рамблер не разбирал, а еще ранее календаря не было. Вот в этот раз заметил

Разве пустая строка имеет значение?

Хм, странно, получается, что увидев такую шляпу в роботе, Яндекс не пойдет вообще на подобный адрес. НО! Сегодня разбирал логи и увидел что ему по барабану всё это. Да и в индексе страница с таким URL есть.

В чем же дело?

Специализированый сервер. В данном случае инженерно-технической направленности. А к тебе приходил его робот-паук

Еще одна непонятка... блин... через раз, объявы просто не грузятся доступны только поле F5 [reload]

Никто не вкурсе как бороться?

партнерка begun.ru

фраз не надо выбирать - автоконтекст, понимаешь

http://www.globalspec.com/Ocelli --- тут ведь все написано

На прошлой неделе так уже делал - все по барабануЖ ест все подряд.

Как бы это не очень критично, потому как ограничения у него как Яндекса нет...

А If-Modified-Since Рамблер запрашивает?

Всего: 472