Все нижеследующее ИМХО:
1. Если для каждой страницы генерируется отдельный файл, то в скором времени в корневой директории не разберетесь, что где.
2. Опять же ;), при нескольких тысячах страниц и без обработки даты возможны проблемы с переиндексацией.
3. Надо бы проверить, что значит "сбрасывает", и с какими правами движок работает, могут возникнуть проблемы с безопасностью.
4. Может ли движок корректно отслеживать ссылки между документами? Т.е. сам он не запутается по первому пункту?
Да, убрали.
А ведь совсем недавно кто-то предлагал тИЦем торговать.
Так оптимизаторы, с легкой руки Interitus, научились управлять минорными изменениями Яндекс-бара. ;)
nitroboss, возможно работают фразы, такие как "Все в г***не, а мы все в белом".
А зачем Вам точная версия робота? Для точной идентификации робота Рамблера достаточно наличия подстроки StackRambler в User-agent.
Спасибо, Алексей, учту.
А articleid, productid тоже не пройдут?
Интерес скорее теоретический, так как я чаще всего эмулирую статику.
Interitus, a почему нет?
Гугл всегда игнорировал <noindex>, этот тег работает только для Рамблера и Яндекса.
Хороший у вас провайдер. 🙄
Вы ему расскажите, что есть ротация.
Пропустите эти логи через какую-нибудь программу статистики, а для выборки специфической информации grep подойдет.
Обсуждали уже
RTFM.
Можно, если сервер настроен по умолчанию. Смотреть описание для системной переменной allow_url_fopen.
Для Windows _не_ работает.
