- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
приветствую!
в яндекс.вебмастере среди загруженных страниц наблюдаю страницы с результатами фильтра. На такие урлы можно попасть только засабмитив форму. Откуда яндекс их может брать?
бывает такое. может сслыка где-то есть. надо делать ноуиндекс)
Может Яндекс.Метрика отправлять страницы на индексацию.
Закройте раздел поиска в robots.txt
Но чем вам мешают эти страницы в индексе. Они же могут собирать НЧ трафик.
бывает такое. может сслыка где-то есть. надо делать ноуиндекс)
если бы это были немногочисленные случаи, но это регулярно происходит.
Может Яндекс.Метрика отправлять страницы на индексацию.
это запрещено в настройках кода счетчика
Закройте раздел поиска в robots.txt
Но чем вам мешают эти страницы в индексе. Они же могут собирать НЧ трафик.
Они не попадают в выдачу, мне это не нужно. А мешают тем, что захламляют. В индексе и без того слишком много страниц, не хотелось бы, чтобы робот тратил силы на обход ненужных.
Узнавать о них Яндекс может многими способами. Например, если страницу посетил пользователь с Яндекс.Браузером.
Если они закрыты в robots.txt, то они не должны загружаться. Проверьте в Яндекс.Вебмастере в разделе "Анализ robots.txt" какую-нибудь страницу фильтра.
Узнавать о них Яндекс может многими способами. Например, если страницу посетил пользователь с Яндекс.Браузером.
интересно, не знал.
Если они закрыты в robots.txt, то они не должны загружаться.
они не совсем закрыты, я использую директиву clean-param в роботсе + тег canonical.
Их однозначно нужно убирать и закрывать, только что проводил аудит, где после добавления развернутых модулей фильтров на сайт - он поплыл...
ПС узнают о них из любых источников, которыми владеют - это давно не удивительно (метрики, бары, источники переходов... на самом деле их намного больше).
Выход из ситуации не сложный - оставить только голую структуру сайта, без левых страниц в индексе. Т.к. они на корню путают релевантность.
И чем больше их съедает поиск - тем со временем ситуация всё хуже и хуже. А при большом количество страниц и запросов - нереально отследить смену релевантности пар страниц \ запросов. Начинается всё, как правило с НЧ и СЧ...
Если страницы фильтров не уникализированы контентом \ заголовками - запрещать к индексации по маске в урл!
В индексе и без того слишком много страниц, не хотелось бы, чтобы робот тратил силы на обход ненужных.
Ну так значит опоздали вы с закрыванием хлама.
Вообще не нужно задаваться вопросом Откуда яндекс их может брать?
Надо чтобы был запрет их индексации (любыми способами, хоть 404 в ответе). И давно уже надо.
Их однозначно нужно убирать и закрывать, только что проводил аудит, где после добавления развернутых модулей фильтров на сайт - он поплыл...
ПС узнают о них из любых источников, которыми владеют - это давно не удивительно (метрики, бары, источники переходов... на самом деле их намного больше).
Выход из ситуации не сложный - оставить только голую структуру сайта, без левых страниц в индексе. Т.к. они на корню путают релевантность.
И чем больше их съедает поиск - тем со временем ситуация всё хуже и хуже. А при большом количество страниц и запросов - нереально отследить смену релевантности пар страниц \ запросов. Начинается всё, как правило с НЧ и СЧ...
Если страницы фильтров не уникализированы контентом \ заголовками - запрещать к индексации по маске в урл!
Запрещать в роботе индексацию хорошо, но робот может все равно гулять по ним.
я в таком случае программистам даю задание - фильтры делать через аякс, вроде, так называется.
Суть в том, чтобы, результаты работы фильтра отображались без перезагрузки страницы, при любых параметрах поиска, урл остается исходным. И проблем нет.
Например, если страницу посетил пользователь с Яндекс.Браузером
Не только. Любой посетитель со Ятуркенженсирхивом от яндекса. Это и мозила может быть и даже пунто свитчер
Вообще не нужно задаваться вопросом Откуда яндекс их может брать?
Надо чтобы был запрет их индексации (любыми способами, хоть 404 в ответе). И давно уже надо.
Если страницы фильтров не уникализированы контентом \ заголовками - запрещать к индексации по маске в урл!
Как писал выше, у меня они запрещены через директиву clean-param. Плюс на таких страницах есть тег canonical, в котором url ссылается на полный список без фильтров. Хорош ли такой вариант или лучше запрещать по маске через роботс?