Это скорее всего выдача быстроробота.
1. Возможно есть копия этой странице, которая уже есть в индексе.
2. Запрещена индексация через Disallow: /pages/
3. Какие либо сбои у вас на сервере (проверьте лог - может роботу 404 отдается, или любая другая ошибка).
Если робот воспримет /pages и /pages/ разными урлами, то лучше первое. А так без разницы.
По хорошему при запросе дерриктории сервер сам подставляет слеш в конце.
Да, кстати при написании "Disallow: /pages/" в индекс не попадут страницы типа: www.сайт.ru/pages/sources.html
Эти две строки личшее, т.к. выше они уже запрещены.
По сути вопроса: Все изменеия в выдаче происходят после апдейтов (кроме банов сайта, они имхо могут и в междуапье выпасть). Так что ждите 1-2 апдейта, все должно удалиться.
Т.е. сначало нужно ждать пока Яндекс склеит, а уж потом сообщать где главное зеркало? 😂
Вы открыли всему форуму глаза. :) А то все здесь считаю что host и для других поисковиков подходит. 😂
Да и еще ваша цитата:
Оба домена НЕ являются зеркалами, и соответственно деректива HOST лишняя.
Что же тогда означает деректива HOST в robots?
Я всегда считал, что она указывает на главное зеркало. Соответственно Яндекс увидев эту дерективу на одинаковых сайтах, склеивает их и делает сайт указанный в роботсе главным зеркалом.
Как же, а это:
склеит, но как страницы клеит, а не как сайты (когда по ключевикам сайта выдается только один сайт). Т.е. в выдаче будете по разным ключам встречаться и тот и другой сайт, но не факт что по конкретному ключу будет именно тот сайт, который нужен.
Так что в данной ситуации, либо запрет индексации папки, либо редирект.
Понял о чем вы. Да или так можно сделать.
А чем пример выше не подходит?
Да, если только удалить основной домен... 😂
А зачем запрещать индексацию сайта: http://www.cyber66.org/ - если сайт не состоит из одного форума?
