- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет!
Объясните, пожалуйста, зачем прописывать директивы в robots.txt отдельно для User-agent Яндекс, если User agent: * предполагает, что директивы прописаны для роботов всех ПС?
И необходимо ли это делать? Или можно оставить только User agent: * ?
чтобы что-то применить только для яндекса, а не всех поисковиков (с) ваш кэп
https://webmaster.yandex.ru/blog/izmeneniya-v-obrabotke-robots-txt#576ac66f0927c81600e5e71a
Потому что Яндекс многие вещи понимает совсем не так, как Гугл, например.
Если проблемы изначально никакой не просматривается - можно не париться отдельным списком директив. А вот если нужно от Яши что-то скрыть - то таки вот.
Простой пример: сайтмап для картинок. Гугл его поймёт и использует, для Яндыха это что-то непонятное, возможно - преступное.
Еще amp-страницы - несмотря на каноникал Яндекс их тащит в индекс - значит для Яндекса их надо закрыть от индексации, от Гугла разумеется не надо.
Лучше вообще не использовать этот файл, а использовать теги.
Если одинаковые правила и даже не поддерживаемые той или иной ПС нет смысла разделять, неподходящие правила та или иная ПС их проигнорирует, "усвояемых кроликов" прочтёт. Если хочешь что-то разрешить/запретить для конкретных ПС, то тогда да, грубо говоря, * поставил на запрет, нужным разрешил или наоборот по отдельности, а если позволяет возможность, то использовать метатеги, как и написали выше тоже моё ИМХО.
Также можно запретить или разрешить индексацию разным ботам одной ПС, вроде эти ссылки ;):
https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html#robot-in-logs
https://support.google.com/webmasters/answer/1061943?hl=ru
Robots.txt - индивидуальный, его нужно создавать самому, для своего сайта, а не копировать у других, ну или по крайней мере, если от CMS, изменить/добавить/вообще не заморачиваться.🍻
Ну и проверять конечно, то что создал, в панелях ПС вебмастера.🚬🍻☝🍻🍾🚬🍻;)
Все спасибо за ответы!
Лучше вообще не использовать этот файл, а использовать теги.
Это что за дурь?
Это что за дурь?
Хорошая, забористая. Экспертная лакшери, я б сказал.
Лучше вообще не использовать этот файл, а использовать теги.
На сайте с десятками-сотнями тысяч страниц?! Ню-ню..."Синька - зло", учите матчасть, любезный, и не изобретайте велосипед с квадратным колесами
Хорошая, забористая. Экспертная лакшери, я б сказал.
На сайте с десятками-сотнями тысяч страниц?!
Там без robots или блокировки части не нужных ботов на уровне сервера совсем тяжело, тем более обязательно ставить.
Если не стоит, попробуйте оставить только нужных, остальным запретить, после сравните нагрузку на сервер.