- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток.
Так как есть что прятать на сайте, то хотелось бы закрыть сайт от индексации роботом Solomono, Majesticseo и прочих подобных сервисов.
Какие имеются варианты для закрытия?
Если тема приватная, то попрошу отписаться в ЛС, всегда можно найти общий язык.
Далайте зеркало и ссылайтесь на него.
PS.
Если я понял правильно суть вопроса.
Главное, неясно, зачем. Ссылки на говносайт и так и так видны будут. А с него исходящие спарсить любой сможет.
Hallboy222, есть маленькая проблема, спрятать не проблема, только вот смысла в этом нет ни какого, если данные в разных сервисах и пс значительно отличаются - это лишний повод более детально посмотреть ресурс или просто его отсканировать полностью :)
Переформулирую. Надо просто от этих примитивных закрыть пару сеточек.
Solomono и Majesticseo - говорят о себе в юзер-агенте
кажись, можно еще в robots.txt их прописать..
Solomono и Majesticseo - говорят о себе в юзер-агенте
Гугл ничего не смог подсказать по этому поводу.
admak, судя по логам robots.txt Solomono по барабану, пытается индексить что под запретом.
Majestic вроде не лезет где запрещено в robots.txt
Думаю анализ логов, сбор IP и блокировка по IP или по юзерагенту в .htaccess помогут
---------- Добавлено 03.12.2012 в 18:52 ----------
Hallboy222
.htaccess:
SetEnvIfNoCase User-Agent "^solomono" search_bot
SetEnvIfNoCase User-Agent "^Ezooms" search_bot
SetEnvIfNoCase User-Agent "^baiduspider" search_bot
SetEnvIfNoCase User-Agent "^Synthesio" search_bot
SetEnvIfNoCase User-Agent "^MJ12bot" search_bot
SetEnvIfNoCase User-Agent "^Purebot" search_bot
SetEnvIfNoCase User-Agent "^Parking Domains" search_bot
SetEnvIfNoCase User-Agent "^bezonanet@mail.ru" search_bot
SetEnvIfNoCase User-Agent "^netEstate" search_bot
SetEnvIfNoCase User-Agent "^AhrefsBot" search_bot
Deny from env=search_bot
итд