Яндекс: загружено роботом 12230 страниц

L
На сайте с 09.03.2015
Offline
29
719

Итак, проблемный сайт: http://nektar.com.ru/

Ситуация: откуда-то в яндексе 12230 страниц загружено роботом.Думается, это могут быть дубли. Причем, так и не нашли, где в яндексе посмотреть конкретные адреса страниц, он показывает только раздел (папку).

Почему заволновал вопрос: участвуют в выдаче такие страницы http://nektarcomru.408.com1.ru/shop/

Сайт на webasyst. Нет ли специалистов, кто подскажет, взаимосвязаны эти моменты или нет? Нормально ли, что у робота столько загружено? Дубли это или нет? Если дубли - то движок генерит? Хостинг? Как бороться с этой проблемой?

Заранее извиняюсь, если на этот вопрос есть какой-то простой ответ. Мы искали в инете - четкого объяснения не нашли.

chaser
На сайте с 03.08.2005
Offline
198
#1
lmln:
Итак, проблемный сайт: http://nektar.com.ru/
Ситуация: откуда-то в яндексе 12230 страниц загружено роботом.Думается, это могут быть дубли. Причем, так и не нашли, где в яндексе посмотреть конкретные адреса страниц, он показывает только раздел (папку)...

Посмотреть можно в выдаче яндекса: http://yandex.ru/yandsearch?text=host%3Anektar.com.ru&lr=213 - 29 ответов

Не важно сколько загружено (там могут быть дубли и все что угодно), важно сколько их в индексе

Если число в индексе соответствует числу страниц на сайте, то все ОК

SiteAnalyzer ( https://site-analyzer.ru/ ) - Бесплатный аналог Screaming Frog | Форум поддержки ( https://forum.site-analyzer.ru/ ) / Telegram ( https://t.me/siteanalyzer ) | Majento ( https://majento.ru/index.php?page=seo-analize ) - 70+ бесплатных сервисов SEO-аналитики
artemmian
На сайте с 27.12.2013
Offline
15
#2

Яндекс отсеивает ненужный, по его мнению хлам - страницы с тегами, аккаунты, некоторые категории ит.д.

Робот их видит но в индекс не берет

Заходите на мой сайт: http://artemmian.ru (http://artemmian.ru) и узнаете много интересного о DLE и мира IT
V
На сайте с 11.12.2013
Offline
29
#3
Почему заволновал вопрос: участвуют в выдаче такие страницы http://nektarcomru.408.com1.ru/shop/

Это хостинг Agava делает зеркало сайта на Припаркованном домене.

Отсюда http://hosting.agava.ru/faq/tech/unix/c_domains.shtml :

"Обратите внимание: при регистрации хостинга в панель управления автоматически добавляется служебная ссылка вида имядомена[без точек и пробелов].N.com1.ru в качестве припаркованного домена, например, testru.140.com1.ru. По ней ваш сайт становится доступным сразу после регистрации и включения хостинга, удалять ее из Припаркованных нельзя (это может повлиять на работу хостинга)."

В http://nektarcomru.408.com1.ru/robots.txt прописано главное зеркало Host: nektar.com.ru , т.ч. Яндекс это прохавал, а вот Гугл нет.

Возможно, стоит посмотреть, что можно сделать из меню Припаркованных доменов в панели управления хостинга. Там что-то было написано про редиректы.

И написать Агаве в саппорт вопрос, как вам убрать зеркало.

L
На сайте с 09.03.2015
Offline
29
#4

Спасибо большое всем за ответы!

Особенно про agava.

artemmian, было просто опасение, что среди этих страниц были дубли, которые мы не нашли ручками... Потому что обычно роботом загружено гораздо меньше страниц (на других движках)

vbar, спасибо! Думаю, можно же в htaccess прописать редирект с этого домена, если не получится на хостинге - это наверно никак не должно повлиять на СЕО в целом...

nn165m
На сайте с 05.08.2012
Offline
234
#5

веб асист страницы дублит жестко просто:)

аналогичная проблема более миллиона загруженных

через роботс можно закрыть большую часть

ну и с чпу поработать нужно

Хостинг от 115р./мес./самые адекватные саппорты:) ( http://beget.ru/?id=34668 ) Проверка ссылок огонь пушка как помогает:) ( https://checktrust.ru/r/979 )
nn165m
На сайте с 05.08.2012
Offline
234
#6
Голубая лагуна:
Пробуйте проверять индексацию только самим поиском через site:site.ru/*

там просто цмска дубли плодит.

из серии

каталог/товар/

поиск/каталог/товар

поиск/магазин/каталог/товар

ну и тд

+ фильтры если есть в меню

V
На сайте с 11.12.2013
Offline
29
#7
Думаю, можно же в htaccess прописать редирект с этого домена, если не получится на хостинге - это наверно никак не должно повлиять на СЕО в целом...

Не знаю, как другие посоветуют, но я бы не стал ставить редиректы.

Во-1, сначала лучше пойти естесственным путем: убрать/закрыть зеркало.

Во-2, зеркало http://nektarcomru.408.com1.ru/ не мешает основному сайту, т.к. в Яндексе его нет совсем, а в Гугле 2 страницы. При этом, если Вы скопируете пару строк текста с главной в поиск Гугла, то в выдаче nektarcomru.408.com1.ru не будет.

В-3, у nektar.com.ru и nektarcomru.408.com1.ru скорее всего общие файлы на двоих в корнесервака. Например, Вы измените robots.txt на nektarcomru.408.com1.ru, и на nektar.com.ru он тоже изменится. В такой ситуации редиректами в htaccess можно запустить какую-нибудь циклическую переадресацию.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий