- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сделал для одного из сайтов роботс такого вида:
User-Agent: Yandex
Disallow: /page1
Disallow: /page1
Disallow: /pageN
Crawl-delay: 5
Host: site.ru
User-Agent: *
Disallow: /page1
Disallow: /page1
Disallow: /pageN
Crawl-delay: 5
Проверяю через панель вебмастера. Яндекс грязно ругается, говоря: Crawl-delay встречается 2 раза.
Убираю Crawl-delay в секции для Яндекса, перепроверяю, говорит: "все Ок, буду пользовать строки 1-6, 8-12"
То есть получается, что если в роботсе есть 2 блока, User-Agent: Yandex и User-Agent: *, то Яндекс обрабатывает их оба? И в секции для Яндекса на надо дублировать все строки из общей секции, а достаточно указать отличающиеся?
По идее, User-Agent: * - это параметры для всех ботов, для чего тогда делаете User-Agent: Yandex?
На мой взгляд, Вы Яндексу повторили 2 раза.
"...Ничего что мы повторяем повторяем?.." (с) :)
для чего тогда делаете User-Agent: Yandex?
Для Host: site.ru :)
По идее, User-Agent: * - это параметры для всех ботов, для чего тогда делаете User-Agent: Yandex?
Вы первый раз встречаете отдельные секции для поисковиков?
то Яндекс обрабатывает их оба?
По идее, не должен. Может глюк анализатора?
AnNik, получается, да.
Единственный аспект в котором возникает нелогичность - это если для Яши надо указать один Crawl-delay, а для других - другой. Непонятно, то ли он в такой ситуации проигнорирует инструкцию вовсе, то ли учтет только первую или последнюю...
В свое время меня из колеи выбил такой пример:
В этом случае он /secret.html индексировал
А в этом - нет. Гугль при этом во всех случаях вел себя адекватно.
Для Host: site.ru
Подойдите к вопросу проще. По стандарту обработки файл robots.txt обрабатывается посточно до возникновения первой ошибки. Все боты нормально реагирую на блок
User-Agent: *
Disallow: /page1
Disallow: /page1
Disallow: /pageN
Crawl-delay: 5
Host: site.ru
просто те, кто незнают что такое host - последнюю строку не обрабатывают. Зачем городить более сложные конструкции. Пусть этим занимаются те, кому валидность дороже работоспособности.
По стандарту обработки файл robots.txt обрабатывается посточно до возникновения первой ошибки. Все боты нормально реагирую на блок
...
просто те, кто незнают что такое host - последнюю строку не обрабатывают.
Уверены? :)
Подойдите к вопросу проще. По стандарту обработки файл robots.txt обрабатывается посточно до возникновения первой ошибки. Все боты нормально реагирую на блок
User-Agent: *
Disallow: /page1
Disallow: /page1
Disallow: /pageN
Crawl-delay: 5
Host: site.ru
просто те, кто незнают что такое host - последнюю строку не обрабатывают. Зачем городить более сложные конструкции. Пусть этим занимаются те, кому валидность дороже работоспособности.
Не совсем корректно, но точно работоспособно!
Вы первый раз встречаете отдельные секции для поисковиков?
По идее, не должен. Может глюк анализатора?
Скорее недоработка. На Crawl-delay у меня он тоже ругается. И давно...
Но при этом, если убрать из секции для Yandex, но оставить для Yahoo (грузит больно сервак сильно) - последний игнорирует.
AnNik, безусловно
Вчера снова проверил тот же роботс, на этот раз ответ такой, как и должен быть, т.е. что Яндекс будет пользовать строки только своей секции.
Видимо, действительно была ошибочка в проверялке, которую уже починили.