- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток форумчани.
Появилась такая проблема, в Sitemap(скриншот внизу), пишет что есть предупреждение, мол страница заблокирована в robots.txt.
Сам robots.txt:
User-agent: *
Disallow:
Disallow: /hunting/*
Disallow: /ua/hunting/*
Disallow: /en/hunting/*
Allow: /trophies/fishing/dorado-zolotoy/
Allow: /ua/trophies/fishing/dorado-zolotoy/
Allow: /en/trophies/fishing/dorado-zolotoy/
Allow: /trophies/fishing/paku/
Allow: /ua/trophies/fishing/paku/
Allow: /en/trophies/fishing/paku/
Allow: /trophies/fishing/arapayma/
Allow: /ua/trophies/fishing/arapayma/
Allow: /en/trophies/fishing/arapayma/
Disallow: /trophies/*
Disallow: /ua/trophies/*
Disallow: /en/trophies/*
Ругается на страницы которые в роботсе "Allow", но выше весь раздел "Disallow", просто мне нужно открыть из раздела всего 9 страниц.
Правильно ли я поступил? И если нет, как решить данную проблему или это пройдет само?
Спасибо всем откликнувшимся.
Вот тут https://www.google.com/webmasters/tools/robots-testing-tool при проверке что пишет?
Ошибок: 0 Предупреждений: 0
Так последним и идет
Disallow: /en/trophies/*
Allow, по идее, должен идти ниже.
Так последним и идет
Disallow: /en/trophies/*
Allow, по идее, должен идти ниже.
Это точно?
Разве разницы нету?
Это точно?
Разве разницы нету?
Не должнобыть, если классический роботс.
https://developers.google.com/search/reference/robots_txt?hl=ru
А про Allow Яндекс пишет так вот: https://webmaster.yandex.ru/blog/11833
Кстати, у Яндекса раньше вон вообще пустая деректива могла весь сайт заблокировать
https://webmaster.yandex.ru/blog/izmeneniya-v-obrabotke-robots-txt
---------- Добавлено 23.07.2018 в 18:18 ----------
В общем, все должно работать как есть. Может, на перепроверку послать?
Не должнобыть, если классический роботс.
https://developers.google.com/search/reference/robots_txt?hl=ru
А про Allow Яндекс пишет так вот: https://webmaster.yandex.ru/blog/11833
Кстати, у Яндекса раньше вон вообще пустая деректива могла весь сайт заблокировать
https://webmaster.yandex.ru/blog/izmeneniya-v-obrabotke-robots-txt
---------- Добавлено 23.07.2018 в 18:18 ----------
В общем, все должно работать как есть. Может, на перепроверку послать?
Мне чисто под гугл, так как сайт таргет Украина(с Яндекса трафик вообщем то и не нужен), подожду 2 дня так, потом поменяю местами. И отпишу если прошло.
П.С. Перезалив не помог.
В Вебмастере Яндекса и Гугла есть инструменты проверки роботс:
https://www.google.com/webmasters/tools/robots-testing-tool
https://webmaster.yandex.ru/tools/robotstxt/
Там можно ввести URL и перепроверить. У меня в Яндексе показало, что вроде как доступен.
И так сообщаю о решении проблемы.
Роботс не трогал. Но каждый день перезаливал сайтмап, проблема не исчезала до сегодняшнего дня.
Сегодня(точнее 10 минут назад) перезалил карту и предупреждение пропало.
Возможно кому-то поможет.