- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Потому что "учите матчасть, дети!" С какой такой дозы горилки ты, хлопчик, решил, что у тебя "ссылки закрыты"? Читайте уже документацию, штоле, а не "модных блогиров", что происходит, когда есть less-specific User-agent и User-agent: *
В результате, как и ожидается
Потому что у тебя, чудо, именно для Googlebot создано одно единственное правило
с прямым разрешением "ходи смотри"
1. Для Яндекса эта команда не проблема. Она исправно запрещает к индексации "мусорную страницу".
2. В Инструмент проверки файла robots.txt Гугл вебмастер я убрал Allow: /info/*? , но гугл продолжил считать страницу открытой для индексации.
Здравствуйте.
Такие ссылки как https://zap-online.ru/info/comment/reply/83/3606 закрыты в robots.txt командой
Disallow: /info/comment/reply/
Но Google эти ссылки все равно индексирует и в инструменте проверки robots.txt показывает, что ссылка доступна для индексирования. Почему?
Яндекс эту ссылку не индексирует благодаря все тому же Disallow: /info/comment/reply/
Robots.txt не такой приоритетный для Гугля как мета теги, пробуйте noindex + входящие ссылки на страницу закрыть nofollow.
пробуйте noindex + входящие ссылки на страницу закрыть nofollow
Какая крепкая чушь!
Какая крепкая чушь!
С чего бы это?
1. Для Яндекса эта команда не проблема. Она исправно запрещает к индексации "мусорную страницу".
Потому что в разделе "User-agent: Yandex" написано:
2. В Инструмент проверки файла robots.txt Гугл вебмастер я убрал Allow: /info/*? , но гугл продолжил считать страницу открытой для индексации.
Потому что в разделе "User-agent: Googlebot" стало пусто, т. е. ничего не запрещено к индексированию.
Добавьте уже в раздел "User-agent: Googlebot" строку:
Disallow: /info/comment/reply/
Эта строка там стояла и стоит. Ее никто для Гугла не убирал.
Эта строка там стояла и стоит. Ее никто для Гугла не убирал.
Для Гугла этой строки нет:
Эта строка там стояла и стоит. Ее никто для Гугла не убирал.
Где? https://zap-online.ru/robots.txt
При такой медлительности понимания / нежелании читать хелпы – лучше этим всем не заниматься, и не генерить вопросов
Для Гугла этой строки нет:
Извините. Я понял о чем вы. Но результат в инструменте проверки не меняется (