- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Настраиваю robots. Некоторые страницы все равно были доступны для индексации. Связалась с поддержкой яндекса, получила такой ответ:
В вашем файле robots.txt присутствует директива User-agent: Yandex, а запрет указан для User-agent: *. Если в файле robots.txt обнаружена строка User-agent: Yandex, то строка User-agent: * не учитывается.
Как в таком случае правильно составлять роботс? Прописывать одно и то же и для User-agent: Yandex, и для User-agent: Google?
На всякий случай прикладываю свой роботс, может подскажете конкретно, как его подправить.
Заранее спасибо.
User-agent: Yandex
Clean-param: items_per_page&sort_by&sort_order
User-agent: *
Disallow: /app/
Disallow: /store_closed.html
Disallow: /login
Disallow: /*features_hash=
Disallow: /index.php?dispatch=call_requests.request
Disallow: /index.php?dispatch=checkout.cart
Disallow: /index.php?dispatch=product_features.add_product
Disallow: /index.php?dispatch=products.newest&
Disallow: /index.php?dispatch=products.search
Disallow: /index.php?dispatch=products.quick_view
Как в таком случае правильно составлять роботс?
User-agent: Yandex
А вопросы по роботсу задавать в специальном топике https://searchengines.guru/ru/forum/974085
Убрать нафик секцию
User-agent: Yandex
А вопросы по роботсу задавать в специальном топике https://searchengines.guru/ru/forum/974085
но эта секция специально была создана для Clean-param: items_per_page&sort_by&sort_order
это же параметры только для яндекса
но эта секция специально была создана для Clean-param:
Вот что не понятно в
Если в файле robots.txt обнаружена строка User-agent: Yandex, то строка User-agent: * не учитывается.
Эта секция не для Clean-param, а для ботов Яндекса.
Вот что не понятно в
?все понятно, поэтому и обращаюсь за помощью, как сделать так, чтоб учитывалось))
получается, я могу указать Clean-param в User-agent: * и она так же прекрасно будет работать?
Да просто повторите в секции User-agent: Yandex те же строки, что и в User-agent: *, и добавьте туда Clean-param.
спасибо!
Да просто повторите в секции User-agent: Yandex те же строки, что и в User-agent: *, и добавьте туда Clean-param.
А можно просто удалить секцию для яши, а Clean-param писать в глобальную.
Гугл будет считать это ошибкой. Честно говоря, не знаю, какие будут последствия от этого - то ли просто проигнорирует, то ли запнётся и перестанет правильно отрабатывать.
Гугл будет считать это ошибкой. Честно говоря, не знаю, какие будут последствия от этого - то ли просто проигнорирует, то ли запнётся и перестанет правильно отрабатывать.
Да, в Гугле это будет ошибкой.
Но вроде как ни на что эта ошибка не влияет.
Гугл будет считать это ошибкой. Честно говоря, не знаю, какие будут последствия от этого - то ли просто проигнорирует, то ли запнётся и перестанет правильно отрабатывать.
Все боты читают роботс построчно. Если чего-то не понимают - просто игнорят и идут дальше.
Ну и не забываем, что роботс - не приказы, а рекомендации.