- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
А это позволит роботу скачать файл /robots.txt , чтобы увидеть запрет?
Приношу извинения, этого не учел (сначала предложил заблокировать робота полностью, а потом общаться с ним через robots.txt).
если забанить бота в .htaccess то он не сможет обратиться даже к robots.txt
Чтобы этого не произошло, можно добавить только запрет в robots.txt, а потом, если это не поможет, заблокировать бота через .htaccess
Либо сделать оба запрета одновременно, но в .htaccess оставить возможность боту скачивать robots.txt:
RewriteCond %{HTTP_USER_AGENT} ^Mail\.Ru/1\.0$
RewriteCond %{REQUEST_URI} !^robots\.txt$
RewriteRule .* - [G]
(сделал более правильной первую строку (по сравнению с приведенным выше): . здесь означает любой символ, а \. означает точку)
бот сначала смотрит на роботс или htaccess?
это зависит от бота, как его сделают, так и будет
например для Гугла (как я недавно узнал):
если ссылка найдена в сети (не на данном сайте), то бот вообще игнорирует указания в robot.txt при индексировании этой страницы.
Если беспокоишься за процессорное время то поставь в грузящие скрипты в начало проверку
если HTTP_USER_AGENT=Mail.Ru/1.0 то выдавать либо редирект либо статическую страницу либо forbidden либо что посоветуют профи...
можно же проще через crawl-delay в robots.txt
RewriteCond %{HTTP_USER_AGENT} ^Mail.Ru/1.0$
RewriteRule .* - [G]
если второго и третьего и т.д. юзерагента через | будет правильно обрабатывать, типа:
RewriteCond %{HTTP_USER_AGENT} ^Mail.Ru/1.0 | Mozilla | Opera$
RewriteRule .* - [G]
?
> Либо сделать оба запрета одновременно, но в .htaccess оставить возможность боту скачивать robots.txt
Самый адекватный вариант