- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет, оптимизаторы!
На сайте старого домена в /robots.txt всегда была запрещающая директива для бота:
Затем хост полностью поменялся через 301 редирект. И сейчас робот постоянно (видимо переходя по внешним ссылкам) запрашивает внутренние адреса на старом домене.
Вопрос: как остановить бота, если при обращении к старому /robots.txt он получает 301 ответ сервера?
Во-первых
Ставьте редирект со старых адресов на новые
По-моему, User-agent: Yandex и User-agent: Yandexbot это одно и то же.
Ставьте редирект со старых адресов на новые
Именно так и есть, о чём сказано в исходном сообщении выше, что домен полностью поменялся и на все запросы сервер отдаёт 301 ответ, но в логах старого хоста пишутся запросы.
Ну дык... Для robots.txt отдавать не 301, а 200...
AnNik, не вариант, потому что по логике вещей сайта не существует вообще, т. е. нет там больше никаких файлов и точка.
По-моему, User-agent: Yandex и User-agent: Yandexbot это одно и то же.
http://help.yandex.ru/webmaster/?id=995329 - Yandexbot - это только один из множества ботов.
как остановить бота, если при обращении к старому /robots.txt он получает 301 ответ сервера
Никак, он будет вечно дергать robots.txt и получать 301.
А почему это для вас является проблемой? Нужно платить за старый хостинг? Сделайте старый домен алиасом новому и отключите старый хостинг.
т. е. нет там больше никаких файлов
Наберите http://yandex.ru/
А роботс существует http://yandex.ru/robots.txt
Сравните с http://www.yandex.ru/robots.txt
http://help.yandex.ru/webmaster/?id=995329 - Yandexbot - это только один из множества ботов.
Как раз оттуда я так понял, что YandexBot "основной индексирующий робот", соответсвенно, если его запретить, то и остальные тоже, поэтому и счёл его равным UA Yandex. Возможно ошибаюсь.
Никак, он будет вечно дергать robots.txt и получать 301.
А почему это для вас является проблемой? Нужно платить за старый хостинг? Сделайте старый домен алиасом новому и отключите старый хостинг.
Ды проблемы то нет, скорее желание разобраться :)
Наберите http://yandex.ru/
А роботс существует http://yandex.ru/robots.txt
Сравните с http://www.yandex.ru/robots.txt
Два разных хоста, и никакого 301 редиректа. Я же говорю о двух разных доменах.
поэтому и счёл его равным UA Yandex. Возможно ошибаюсь.
А вы посмотрите по ссылке, какие User-agent у разных роботов, сходите.
Disallow: Yandex
запретит их всех.
.....
A case insensitive substring match of the name without version information is recommended.
http://www.robotstxt.org/orig.html - почитайте.
Ды проблемы то нет, скорее желание разобраться
К сожалению, вы не обозначили подробно и полностью вашу задачу. 99%, что она стандартная, значит у нее есть стандартное решение.
Но вы вывернули эту задачу нестандартным образом:
Вопрос: как остановить бота, если при обращении к старому /robots.txt он получает 301 ответ сервера?
Зачем?
А вы посмотрите по ссылке, какие User-agent у разных роботов, сходите.
Disallow: Yandex
запретит их всех.
http://www.robotstxt.org/orig.html - почитайте.
Ну да, это понятно, но значит ли это, что если запретить YandexBot, то это вовсе не указание для YandexImages и прочих, например?
К сожалению, вы не обозначили подробно и полностью вашу задачу. Зачем?
Задача простая - мне не нужен этот робот в логах, чисто эстетически :) А по-серьёзному - серверу незачем обрабатывать лишние запросы.
То есть, думаю так: первое обращение, которое робот делает к сайту это файл /robots.txt. Получает ответ 301, переходит, следует директивам уже оттуда. Там запрет, значит всё - стоп! Больше не запрашивает адреса ни со старого, ни с нового доменов. Разве не логично?
Там запрет, значит всё - стоп! Больше не запрашивает адреса ни со старого, ни с нового доменов. Разве не логично?
Здрасьте. А если вы уберете robots.txt, домен больше никогда не попадет в индекс?
А зеркальщик как будет расклеивать зеркала, если вы уберете редирект?
Задача простая - мне не нужен этот робот в логах, чисто эстетически
Это вам лучше, извините, не сюда, а к доктору какому-нибудь.
Тогда отключите запись логов, отключите сервер от интернета в конце концов.