- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Интернет магазин 20.000+ товаров + сортировки по цвету, модели и т.д.
Страницы пагинации закрыты для Яндекса <meta name="yandex" content="noindex, follow">
(Для Google настроены next/prev)
В статистике обхода вижу что робот Яндекса обходит уйму различных страниц пагинации, помечает их как закрытые для индексации, НО действительно важные страницы практически не трогает...
Т.е. многие первые страницы категорий вообще не посещались роботом, а вот страницы пагинаций этих категорий обходятся чуть не каждый день.
Вот думаю может все же поставить каноникал на первую для страниц пагинации и черт с ними с рекомендациями Яндекса и Гугла...
Добрый день.
Интернет магазин 20.000+ товаров + сортировки по цвету, модели и т.д.
Страницы пагинации закрыты для Яндекса <meta name="yandex" content="noindex, follow">
(Для Google настроены next/prev)
В статистике обхода вижу что робот Яндекса обходит уйму различных страниц пагинации, помечает их как закрытые для индексации, НО действительно важные страницы практически не трогает...
потому что краулинговый бюджет. Если вы используете мета роботс, то чтобы узнать что страницу индексировать не надо, ее надо сначала скачать.
сайтмап с priority теоретически может помочь (нет)
но с бОльшей вероятностью поможет if-modified.
Большое спасибо за идею.
Попробую реализовать.
Может у кого нибудь есть опыт (пример) использования Last-Modified / If-Modified-Since на коммерческих сайтах?
follow
И правильно делает - он же ссылки считывает с них, вы ему это разрешили.
Вот и ходит
Робот регулярно проверяет эти страницы, ведь в любой момент вы можете захотеть убрать тег noindex. Если запретить индексацию в robots.txt, то, пока есть запрещающая запись, робот (в теории) не должен их шерстить.
думаю может все же поставить каноникал на первую для страниц пагинации и черт с ними с рекомендациями Яндекса и Гугла...
И чтобы заметить этот каноникал, боту придётся эту страницу скачать.
Вот сколько страниц бот скачивает за одно обращение? И какой % их оказываются левыми?
http://easycaptures.com/fs/uploaded/1017/7603560280.png Y
http://easycaptures.com/fs/uploaded/1017/3688436011.png G
Согласно статистике обхода Yandex в день посещает порядка 8.000 страниц.
Из них действительно необходимых в индексе около 300.
(Т.е. страниц url которых не содержат параметры закрытые к индексации/ исключенные clean-param/ на которые настроен canonical.)
Chukcha.
Поясните, что именно вы хотели сказать своим сообщением.
Что мешает-то в robot.txt всё ненужное запихнуть ?
Чего этот кактус жрать продолжать :) ?
ЗЫ. Или речь о том, что у вас 100500 страниц "второго уровня" и до "третьего" робот просто не доходит ?
Тогда сайтмап...
что именно вы хотели сказать своим сообщением.
Как часто ходЮт, и сколько за раз :)
По поводу if-modified
Используют ли сейчас поисковики if-modified-since?
Правда вопросов там еще очень много, на несколько тем сайта наберется))
---------- Добавлено 28.04.2017 в 17:35 ----------
Что мешает-то в robot.txt всё ненужное запихнуть ?
Чего этот кактус жрать продолжать :) ?
На все лишние страницы был настроен каноникал или clean-param.
Раньше думал этого будет достаточно, но робот все равно регулярно обходит эти страницы...
Сейчас думаю, что закрыть их через robots будет правильнее и позволит эффективней использовать краулинговый бюджет.