avt401111, пусть программеры и админы вместе подумают над проблемой и разберутся, на каком этапе работы системы скрипты-сервер отдается 406. Там и подлатать.
StackRambler:
Connection: close
Yandex (H):
Connection: Keep-Alive
Googlebot - crawl-66-249-66-79.googlebot.com,
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html):
Connection: Keep-alive
Yandex (I):
В свете того, что в раздел Туризм за последний месяц активно добавлялись сайты на бесплатной основе, мы тут подумываем зарегистрировать сайты конкурентов, если сразу не возьмут, то за деньги. 🙄
Можно хранить даты изменения для каждого документа в БД или проверять даты изменения файлов с текстами, если они вставляются с помощью include, обрабатывать эти даты и запросы с If_Modified_Since в том же файле index.php.
Вполне реально.
По-вашему нереально, а у помоему - реально. И трафика меньше и результаты лучше.
Если 3sitе.ru физически лежит в другой папке, с отличным от двух других сайтов дизайном, то:
1. robots.txt у него будет свой, который должен физически находиться в папке www/1site, а в нем можно главное зеркало и не указывать
2. При отличном дизайне автоматической склейки быть не должно, так как документы на сайтах будут отличаться, даже если контент схожий.
Присоединяюсь к поздравлениям!
Если это подарок, про который я подумал, то почаще таких подарков! ;)
Можно почитать Administrator's Guide, а именно:
Т.е. в вашем случае для роботов сайты разные и по запросам к сайту на разных портах можно выдавать разные robots.txt. А дальше уже дело техники. ;)
Надо просто запустить webalizer, что-то вроде /usr/bin/webaziler в командной строке.
404 - Яндекс удаляет адрес страницы из списка страниц для последующей индексации
301 - Яндекс удаляет адрес страницы из списка и добавляет адрес, куда ведет редирект.
А вот с 302 точно не могу сказать.
