Чтобы Яндексу указать главное зеркало - достаточно, если надо еще что-то позакрывать - Disallow необходимое количество раз.
В Яндексе всплывает то, что им воспринято как главное зеркало. Многие вебмастера делают сайт с www главным зеркалом, поэтому оно и всплывает.
Не поверите: убрать их с сайта. 😂
Сайт у Вас народный. По-моему 301 там настроить нельзя, так что это наверняка единственный способ. Хотя можно переименовать файлы, если удалять неохота. Тоже 404 отдастся.
У бота есть некий список страниц, которые надо проиндексировать. Как появился этот список: либо через форму добавили, либо в предыдущий раз бот приходил и ссылок набрал. Индексатор обращается к файлу роботс.тхт и проверяет - какие страницы можно брать, а какие - нет. В соответствии с этим из своего списка он выбирает страницы не запрещенные для индексации и берет их. Таким образом в базу попадает некое множество страниц сайта, но необязательно все.
Насколько я понял, смысл опроса сволится к тому, чтобы объяснить топикстартеру - есть ли на его сайте спам и указать пальцем где именно. Зачем тогда опрос заводить? Вы что, не верите Яндексу?
Не верю. Должны быть какие-то другие причины.
Кто Вам сказал такую чушь?
Смотрим в стандарт - http://www.robotstxt.org/wc/norobots.html
Приведенный там пример:
Посмеете оспорить?
И на будущее - подобная конструкция Disallow: /foo.html закрывает от индексации любой урл, начинающийся на site.ext/foo.html
Как вариант - сложить все это в одну папку и лапретить в роботсе ее индексирование. По-моему был какой-то способ еще, но его долго искать на машине в фаворитах.
11 дней - это мелкий срок. Тем более для Рамблера. Один сайт в 500 страниц он утащил за месяц, начиная утаскивать спустя две недели после обновления.
Старые не удалит, пока получает на них 200 ок.
Склеит. И, может быть, очень неудачным для Вас образом.
Как правило, помогает карта сайта.
Будет хуже. Попадете под фильтр, который выкинет Вас из десятка (или даже из 50).
Кстати, если этот сайт не Ваш, то внимательно читаем п. 4.1 Правил Форума и понимаем тонкий намек.
