Torio, да, проиндексирует как разные страницы.
В логах, это к вашему провайдеру.
Вот так и представляется:
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
В User-agent дважды Яха упоминается, этого мало?
Kostya, объем-то меньше, да только вторую ссылку, приведенную в вопросе, так не закроешь.
Робот берет все, что найдет, только потом в базу не включает. Минус управления индексацией с помощью мета роботс -- для того, чтобы прочитать этот мета, робот с сервера документ запросит, а значит получит ответ с кодом 200 и очередь до действительно важных документов может долго идти...
Можно попробовать в robots.txt так:
User-agent: *
Disallow: /?id=
Disallow: /index.php?&id=
z_i_p, это робот Yahoo
http://help.yahoo.com/help/us/ysearch/slurp/slurp-01.html
Gray, а с настройками времени все нормально? У меня время на форуме отстает на час от реального, хотя стоит GMT +2 в настройках.
NoNamer, воспользуйтесь поиском, там много интересного по поводу ошибки 406, включая топик, где на вопрос, подобный вашему, отвечали разработчики Яндекса.
А что мы можем сказать?! :)
Это запрос не от основного индексатора, HTTP-запросы основного индексаторы и робота D несколько отличаются.
Не в ту
Я же написал, что вопрос не в ответе сервера, а в запросе клиента.
