Похоже, прав Вольф - ибо утром в кэше появился образ, забранный вчера часов в 11 утра...
defresto, а причем тут ссылки? Ссылки есть, за последнюю неделю их только больше стало...
Так, вы опять не поняли. По порядку:
1. Страницы обновляются 10-15 раз в день.
2. Фрешбот приходит до нескольких десятков раз за день, в том числе за главной страницей - 3-4 раза в день.
3. Сегодня в кэше вместо более или менее актуального образа главной страницы, обычно отстающего на сутки-двое от самой страницы, появилась копия, взятая при февральском обходе обычным роботом.
Вопрос - что бы это значило?
Не совсем - один раз он запросил директорию без слэша (/blog), получил 301. Через пару часов запросил со слэшем, получил 200.
Причем это не менялось никак - четыре месяца так работает...
К тому же это никак не объясняет, почему из кэша вдруг вывалился уже имевшийся там образ страницы.
К тому же приходить он не перестал - только за 1-е число он три раза взял главную страницу, не считая еще несколько десятков страниц.
Ты читаешь, что я пишу? Главная страница обновляется 10-15 раз в сутки - при этом она каждый раз создается зановои отдает корректное Last-Modified.
И выкидывает все, что проиндексировал? :)
К тому же главная страница представляет собой статичный html, отдающий все положенные коды и обновляющийся раз 10-15 в сутки.
Пардон, стандарта не помню.
А смысла такой директивы и подавно не понимаю. Robots.txt запрещает индексирование обычно, что не запрещено, то, соответственно, разрешено.
mikek, может, я, конечно, глупость скажу, но что мешает искать по базе параллельно - и для "И", и для "ИЛИ", потом выбросить дубликаты и прицепить второй список в хвост первому?
Я, в основном, о скорости. Если ответ на поиск выдается минуту, и это сейчас, то что будет, когда этим поиском начнут пользоваться?
oSa, надеюсь, помните недавнюю историю с поиском на Топпинге?
