- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток.
Так как есть что прятать на сайте, то хотелось бы закрыть сайт от индексации роботом Solomono, Majesticseo и прочих подобных сервисов.
Какие имеются варианты для закрытия?
Если тема приватная, то попрошу отписаться в ЛС, всегда можно найти общий язык.
Далайте зеркало и ссылайтесь на него.
PS.
Если я понял правильно суть вопроса.
Главное, неясно, зачем. Ссылки на говносайт и так и так видны будут. А с него исходящие спарсить любой сможет.
Hallboy222, есть маленькая проблема, спрятать не проблема, только вот смысла в этом нет ни какого, если данные в разных сервисах и пс значительно отличаются - это лишний повод более детально посмотреть ресурс или просто его отсканировать полностью :)
Переформулирую. Надо просто от этих примитивных закрыть пару сеточек.
Solomono и Majesticseo - говорят о себе в юзер-агенте
кажись, можно еще в robots.txt их прописать..
Solomono и Majesticseo - говорят о себе в юзер-агенте
Гугл ничего не смог подсказать по этому поводу.
admak, судя по логам robots.txt Solomono по барабану, пытается индексить что под запретом.
Majestic вроде не лезет где запрещено в robots.txt
Думаю анализ логов, сбор IP и блокировка по IP или по юзерагенту в .htaccess помогут
---------- Добавлено 03.12.2012 в 18:52 ----------
Hallboy222
.htaccess:
SetEnvIfNoCase User-Agent "^solomono" search_bot
SetEnvIfNoCase User-Agent "^Ezooms" search_bot
SetEnvIfNoCase User-Agent "^baiduspider" search_bot
SetEnvIfNoCase User-Agent "^Synthesio" search_bot
SetEnvIfNoCase User-Agent "^MJ12bot" search_bot
SetEnvIfNoCase User-Agent "^Purebot" search_bot
SetEnvIfNoCase User-Agent "^Parking Domains" search_bot
SetEnvIfNoCase User-Agent "^bezonanet@mail.ru" search_bot
SetEnvIfNoCase User-Agent "^netEstate" search_bot
SetEnvIfNoCase User-Agent "^AhrefsBot" search_bot
Deny from env=search_bot
итд