- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Друзья,
у меня в robots.txt создано правило:
User-agent: Googlebot
Disallow: /mag
но серевер говорит, что у него были вот такие запросы:
/mag/8490076a34734c0b2 HTTP/1.0" 404 19644 "-" "AdsBot-Google (+http://www.google.com/adsbot.html)"
я запретил лазить в эту директорию, так как по этим ссылкам инициируется заказ клиента на товар, с нежелательными последствиями если это инициировал робот.
Вопросы:
1) роботы гугла в закрытые директории совсем не суются или все же всё таки заглядывает для "ознакомления" и просто ничего не предпринимает с их содержимым?
2) Если правило
User-agent: Googlebot
Disallow: /mag
строже чем:
User-agent: AdsBot-Google
Disallow: /mag
как мне запретить гуглороботу суваться в закрытую директорию?
Директивы в роботс - это не полный запрет, а рекомендации роботу.
Директивы в роботс - это не полный запрет, а рекомендации роботу.
Причем роботс рекомендует не добавлять в индекс. Если оно добавлено ранее, то бот ходить будет.
это не запрет туда ходить, а рекомендация контент в поисковый индекс не выкладывать.
Друзья,
у меня в robots.txt создано правило:
User-agent: Googlebot
Disallow: /mag
но серевер говорит, что у него были вот такие запросы:
/mag/8490076a34734c0b2 HTTP/1.0" 404 19644 "-" "AdsBot-Google (+http://www.google.com/adsbot.html)"
я запретил лазить в эту директорию, так как по этим ссылкам инициируется заказ клиента на товар, с нежелательными последствиями если это инициировал робот.
Вопросы:
1) роботы гугла в закрытые директории совсем не суются или все же всё таки заглядывает для "ознакомления" и просто ничего не предпринимает с их содержимым?
2) Если правило
User-agent: Googlebot
Disallow: /mag
строже чем:
User-agent: AdsBot-Google
Disallow: /mag
как мне запретить гуглороботу суваться в закрытую директорию?
попробуйте в админку сайта доступ дать, понажимает все кнопочки там)
Сестры Бабурины, на указанной странице, есть код адсенса?
Друзья,
у меня в robots.txt создано правило:
User-agent: Googlebot
Disallow: /mag
но серевер говорит, что у него были вот такие запросы:
/mag/8490076a34734c0b2 HTTP/1.0" 404 19644 "-" "AdsBot-Google (+http://www.google.com/adsbot.html)"
я запретил лазить в эту директорию, так как по этим ссылкам инициируется заказ клиента на товар, с нежелательными последствиями если это инициировал робот.
Вопросы:
1) роботы гугла в закрытые директории совсем не суются или все же всё таки заглядывает для "ознакомления" и просто ничего не предпринимает с их содержимым?
2) Если правило
User-agent: Googlebot
Disallow: /mag
строже чем:
User-agent: AdsBot-Google
Disallow: /mag
как мне запретить гуглороботу суваться в закрытую директорию?
Исследования показывают (запрещаем в роботс и далее глазами смотрим логи вэб-сервера), что подлый гуглбот все-таки скачивает страницы, которые запрещены в роботс и даже анализирует их (если у Вас запрещено в роботс куча не уиникального контента, то гугл бот это увидит), но в индекс не размещает.
Т.е. вы должны быть готовы к тому, что то, что закрыто в роботсе гугл все равно скачает и проанизирует, но в индекс не засунет.