- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
6 основных SEO-трендов на 2021 год
Активное использование ИИ, структурированных данных и формирование собственных графов знаний
Андреа Вольпини
Google об использовании HTML-элемента button для внутренних ссылок
Влияет ли это на SEO
Анна Бондарь
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Коллеги,
Имеется большой массивный новостной сайт, раньше все страницы были с .html теперь уже как 2 года без. При этом остались лакуны со страницами с .html. Часто страницы дублированы, отображается и одна, и другая версии. Понимаем, что дубли это плохо, нужно определиться и что-то закрыть от индекса. И в search console большое количество разных ошибок, связанных с индексацией страниц, 404, дублями и прочее
Решили поработать с robots.txt и максимально его снабдить запрещающими директивами.
Решили прописать вот такую директиву Disallow: /*.html . подумали, что проблема таким образом устранится. Затем посмотрели выдачу гугла с запросом site:нашсайт.ком/*/*/*.html нашли десятки тысяч страниц в выдаче, при наведении на тайтл гугл отображает ссылку с html при переходе срабатывает редирект на без html.
Внимание вопрос, если пропишем директиву Disallow: /*.html удалим ли мы таким образом все старые страницы из выдачи? Сможет ли гугл их заново переиндексировать? Или просто уберет из выдачи? Не хотелось бы терять большой массив страниц с весом. При наличии небольшого корпоративного сайта не сомневался бы, здесь десятки и сотни тысяч, которые точно не будут обновляться, но висят в выдаче
Роботс это рекомендация а не железное правило, на больших сайтах Гугл может годами держать «грязный индекс»
Если надо удалить страницы лучше тег ноиндекс
гугл отображает ссылку с html при переходе срабатывает редирект на без html.
...
Внимание вопрос, если пропишем директиву Disallow: /*.html удалим ли мы таким образом все старые страницы из выдачи?
Нет смысла запрещать индексирование в роботс и одновременно прикручивать редирект. Что-то из этого не будет работать.
Лучше не закрывать, а ускорить переиндексацию страниц с редиректом. Дешевый&сердитый вариант - временный дополнительный xml-сайтмап со всеми старыми ссылками (с настроенными 301 с них).
Доводилось на "возрастных" ИМ с долгой и сложной историей приводить в порядок структуру URL. Никаких запретов к индексации, только 301-е редиректы. Где получалось - по шаблону оптом, где не было системы - ручками поштучно. htaccess распух знатно, но работа дала свои плоды - через пару-тройку месяцев ИМ существенно поднялся в поиске, роботы перестали нагружать сервер, через 4-5 пропала большая часть ошибок покрытия в Google Webmaster.
Что касается robots.txt, то от ошибок покрытия он не спасает. Запросто может появиться ошибка "проиндексировано несмотря на блокировку в robots.txt".
Коллеги,
Имеется большой массивный новостной сайт, раньше все страницы были с .html теперь уже как 2 года без. При этом остались лакуны со страницами с .html. Часто страницы дублированы, отображается и одна, и другая версии.
Страниц с .html не должно быть - 404. Так быстрее избавитесь от дублей
Про вес, раньше надо было думать и не менять структуру сайта
1. Со всех старых страниц прописать редирект на новые.
2. На всех страницах прописать rel="canonical" со ссылкой на новые страницы.
3. Переделать все внутренние ссылки на новый формат.
4. Через какое-то время можно убить все старые страницы.