Как Google отреагирует на закрытие старых страниц, у которых теперь есть редиректы

V
На сайте с 21.06.2007
Offline
124
529

Коллеги,

Имеется большой массивный новостной сайт, раньше все страницы были с .html теперь уже как 2 года без. При этом остались лакуны со страницами с .html. Часто страницы дублированы, отображается и одна, и другая версии. Понимаем, что дубли это плохо, нужно определиться и что-то закрыть от индекса. И в search console большое количество разных ошибок, связанных с индексацией страниц, 404, дублями и прочее

Решили поработать с robots.txt и максимально его снабдить запрещающими директивами.

Решили прописать вот такую директиву Disallow: /*.html . подумали, что проблема таким образом устранится. Затем посмотрели выдачу гугла с запросом site:нашсайт.ком/*/*/*.html нашли десятки тысяч страниц в выдаче, при наведении на тайтл гугл отображает ссылку с html при переходе срабатывает редирект на без html.

Внимание вопрос, если пропишем директиву Disallow: /*.html удалим ли мы таким образом все старые страницы из выдачи? Сможет ли гугл их заново переиндексировать? Или просто уберет из выдачи? Не хотелось бы терять большой массив страниц с весом. При наличии небольшого корпоративного сайта не сомневался бы, здесь десятки и сотни тысяч, которые точно не будут обновляться, но висят в выдаче

Компания по устройству буронабивных свай (https://drilling-msk.ru/)
Vladimir SEO
На сайте с 19.10.2011
Offline
1127
#1

Роботс это рекомендация а не железное правило, на больших сайтах Гугл может годами держать «грязный индекс»

Если надо удалить страницы лучше тег ноиндекс

Продвижение коммерческих сайтов Проверка позиций http://allpositions.ru/redirect/10965 Лучший хостинг http://www.ukraine.com.ua/?page=59418
ValD
На сайте с 14.06.2007
Offline
133
#2
Vitiai:
гугл отображает ссылку с html при переходе срабатывает редирект на без html.
...
Внимание вопрос, если пропишем директиву Disallow: /*.html удалим ли мы таким образом все старые страницы из выдачи?

Нет смысла запрещать индексирование в роботс и одновременно прикручивать редирект. Что-то из этого не будет работать.

Лучше не закрывать, а ускорить переиндексацию страниц с редиректом. Дешевый&сердитый вариант - временный дополнительный xml-сайтмап со всеми старыми ссылками (с настроенными 301 с них).

Alex Agent
На сайте с 07.04.2011
Offline
294
#3

Доводилось на "возрастных" ИМ с долгой и сложной историей приводить в порядок структуру URL. Никаких запретов к индексации, только 301-е редиректы. Где получалось - по шаблону оптом, где не было системы - ручками поштучно. htaccess распух знатно, но работа дала свои плоды - через пару-тройку месяцев ИМ существенно поднялся в поиске, роботы перестали нагружать сервер, через 4-5 пропала большая часть ошибок покрытия в Google Webmaster.

Что касается robots.txt, то от ошибок покрытия он не спасает. Запросто может появиться ошибка "проиндексировано несмотря на блокировку в robots.txt".

Всему свое время. Все сами принесут и все сделают. Быстрый и выгодный перевод денег Россия ↔ Украина онлайн (http://smartwm.ru/referral/cea1f09842be).
Vladimir
На сайте с 07.06.2004
Offline
345
#4
Vitiai:
Коллеги,
Имеется большой массивный новостной сайт, раньше все страницы были с .html теперь уже как 2 года без. При этом остались лакуны со страницами с .html. Часто страницы дублированы, отображается и одна, и другая версии.

Страниц с .html не должно быть - 404. Так быстрее избавитесь от дублей

Про вес, раньше надо было думать и не менять структуру сайта

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Grabber
На сайте с 22.09.2004
Offline
172
#5

1. Со всех старых страниц прописать редирект на новые.

2. На всех страницах прописать rel="canonical" со ссылкой на новые страницы.

3. Переделать все внутренние ссылки на новый формат.

4. Через какое-то время можно убить все старые страницы.

Рекомендую: Хостинг за 50 руб. в месяц. ( http://ruweb.net/?from=4243 ). Пользуюсь 10 лет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий