- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Знаю три способа:
Noindex
meta
robots.txt
Вот, что сегодня написала тех.поддержка Яндекса, по поводу запрета индексации через USER AGENT
сервера, нужно просто запретить доступ поисковым роботам Яндекса к сайту. USER
AGENT нашего робота всегда начинается со слова Yandex, далее могут идти
служебные поля (дата, версия и т.д.), которые могут меняться.
Это как?
Это они, скорее всего, про роботс.тхт толкуют. Там же первой строкой положено именно юзер-агента указывать. Робот читает роботс.тхт, находит в поле юзер-агента свое имя и выполняет то, что ему указывают в директивах дизаллоу и аллоу. Яндекс еще выполняет директиву хост.
Но в принципе, можно отлавливать юзер-агента из заголовков, которые присылает робот/браузер серверу, и, если в поле юзер-агента есть подстрока yandex, отдавать ошибку 404. Эдакий примитивный клоакинг.
upyrj, не...
я им четко задал вопрос, как без роботса закрыть индексацию...
upyrj, не...
я им четко задал вопрос, как без роботса закрыть индексацию...
Ну вот они и ответили про то, как фильтровать по юзерагенту.
1.
в .htaccess
написать условие типа:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} !^yandex.* [NC,OR]
RewriteRule ^.*$ deny.php
где deny.php - скрипт отдающий роботу заголовок, например 403 Forbidden
2. Если у вас стоит какая-нибудь CMS - можно программно определить USER_AGENT и программно отдавать заголовок
header("HTTP/1.1 403 Forbidden")
Кстати есть еще один способ. Поставьте у себя линкатор или дорвейгенератор и сами на себя настучите.
Ну вот они и ответили про то, как фильтровать по юзерагенту.
т.е. как предложил upyrj?
и что будет? 😕
забанят ведь
т.е. как предложил upyrj?
Да. Непонятно только чем robots не угодил?
Во фразе про линкатор, я забыл поставить смайлик. Извините.