Посмотрите, что лежит в кеше Гугла, если действительно только часть страницы, то Вы правы, да и снифер не нужен для этого.
Запрос робота Гугля не содержит заголовка Connection, может быть в этом проблема?
Предположения верные, тем более если в логах нет запросов роботов к искомому перловому скрипту.
301 -- перемещена постоянно;
302 -- перемещена временно.
Я бы выдал код 301, Яндекс при этом удалит страницу с идентификатором сессии из списка страниц для индексации и добавит, если страницу без идентификатора (если ее еще нет в списке).
Сервис добавления страниц в базу не проверяет robots.txt, проверка происходит позже при работе основного индексатора.
Безусловно. Тогда что Вы подразумевали, когда говорили о "внутрисерверном редиректе"?
Скорее всего Orlis под внутрисерверным редиректом подразумевал использование модуля Апача mod-rewrite, с помощью которого по старым адресам выдаются документы с кодом статуса 200. Хотя на самом деле любой редирект позволяет перенаправить пользователя и/или робота поисковых систем на другой документ с другим адресом, а использование mod_rewrite правильнее назвать "подменой адресов".
Я не Миха, однако прочитайте документ на Рамблере, пункт 12. ;)
Поисковики пока по одинаковому телефону или хозяину домены не клеят. :)
Если дизайн и контент разные, то, ИМХО, склеивать не будут.
Ошибочный robots.txt чаще всего игнорируется т.е. индексируется все, что робот нашел.
