- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите, пожалуйста, каким образом можно поставить полный запрет на посещение сайта поисковыми роботами? Я думаю, что это как-то должно осуществляться через .htaccess, но не знаю как. Задача такая, чтобы роботы поисковых систем вообще не могли попасть на сайт. Закрывать через robots.txt не предлагать, т.к. нужно не просто закрыть от индексации страницы, а сделать так, чтобы поисковики не могли вообще попасть на сайт.
Через .htaccess можно внести запрет, указав возможные IP адреса поисковых роботов.
Через .htaccess можно внести запрет, указав возможные IP адреса поисковых роботов.
ну и где взять эти 100500 IP?))
не знаю, как это сделать через .htaccess, но если сделать вход только зарегистрированным участникам, то робот дальше главной не уйдет.
А вообще страшно представить что это за ресурс, куда поисковикам ходить не надо
А вообще страшно представить что это за ресурс, куда поисковикам ходить не надо
Ну например всякие сайты кеши индексировать не надо. Типа вот такого encrypted-tbn1.gstatic.com
каким образом можно поставить полный запрет на посещение сайта поисковыми роботами?
Никаким!
Не получится отличить заход юзера от робота. IP и USER_AGENT не спасёт.
Решение с другой стороны. Запретить всем и разрешить "проверенным товарищам".
Те IP адреса, что сильно активно себя ведут и парой выкачивают сайты в ручную заношу их в .htaccess чтобы уменьшить нагрузку на сервер.