- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Google Ads тестирует новый функционал для повышения эффективности адаптивных объявлений
Автоматически расширяя пул подходящих креативов
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Коллеги,
Имеется большой массивный новостной сайт, раньше все страницы были с .html теперь уже как 2 года без. При этом остались лакуны со страницами с .html. Часто страницы дублированы, отображается и одна, и другая версии. Понимаем, что дубли это плохо, нужно определиться и что-то закрыть от индекса. И в search console большое количество разных ошибок, связанных с индексацией страниц, 404, дублями и прочее
Решили поработать с robots.txt и максимально его снабдить запрещающими директивами.
Решили прописать вот такую директиву Disallow: /*.html . подумали, что проблема таким образом устранится. Затем посмотрели выдачу гугла с запросом site:нашсайт.ком/*/*/*.html нашли десятки тысяч страниц в выдаче, при наведении на тайтл гугл отображает ссылку с html при переходе срабатывает редирект на без html.
Внимание вопрос, если пропишем директиву Disallow: /*.html удалим ли мы таким образом все старые страницы из выдачи? Сможет ли гугл их заново переиндексировать? Или просто уберет из выдачи? Не хотелось бы терять большой массив страниц с весом. При наличии небольшого корпоративного сайта не сомневался бы, здесь десятки и сотни тысяч, которые точно не будут обновляться, но висят в выдаче
Роботс это рекомендация а не железное правило, на больших сайтах Гугл может годами держать «грязный индекс»
Если надо удалить страницы лучше тег ноиндекс
гугл отображает ссылку с html при переходе срабатывает редирект на без html.
...
Внимание вопрос, если пропишем директиву Disallow: /*.html удалим ли мы таким образом все старые страницы из выдачи?
Нет смысла запрещать индексирование в роботс и одновременно прикручивать редирект. Что-то из этого не будет работать.
Лучше не закрывать, а ускорить переиндексацию страниц с редиректом. Дешевый&сердитый вариант - временный дополнительный xml-сайтмап со всеми старыми ссылками (с настроенными 301 с них).
Доводилось на "возрастных" ИМ с долгой и сложной историей приводить в порядок структуру URL. Никаких запретов к индексации, только 301-е редиректы. Где получалось - по шаблону оптом, где не было системы - ручками поштучно. htaccess распух знатно, но работа дала свои плоды - через пару-тройку месяцев ИМ существенно поднялся в поиске, роботы перестали нагружать сервер, через 4-5 пропала большая часть ошибок покрытия в Google Webmaster.
Что касается robots.txt, то от ошибок покрытия он не спасает. Запросто может появиться ошибка "проиндексировано несмотря на блокировку в robots.txt".
Коллеги,
Имеется большой массивный новостной сайт, раньше все страницы были с .html теперь уже как 2 года без. При этом остались лакуны со страницами с .html. Часто страницы дублированы, отображается и одна, и другая версии.
Страниц с .html не должно быть - 404. Так быстрее избавитесь от дублей
Про вес, раньше надо было думать и не менять структуру сайта
1. Со всех старых страниц прописать редирект на новые.
2. На всех страницах прописать rel="canonical" со ссылкой на новые страницы.
3. Переделать все внутренние ссылки на новый формат.
4. Через какое-то время можно убить все старые страницы.