- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброе время суток.
Задача: закрыть сайт от индексации всеми поисковиками, оставить только целевые - Яндекс, Гугл
Зачем: для того, что бы не возможно было определить внешние ссылки с данного сайта, посредством выдергивания информации с поисковых систем различным софтом.
Что имеем в распоряжении: на данный момент у нас есть robots.txt, со списком запрещающих ботов не целевых поисковых систем, но он на данный момент не актуален. По крайней мере там не все роботы закрыты.
Кому интересно, покажу файл в личном порядке.
Какие варианты, возможно технические, для выполнения задачи знаете. Возможно robots.txt правильный.
Возможно robots.txt правильный.
Возможно? :) Долго смеялся. :D
Закройте от не нужных ПС в robots.txt индексацию и будет гуд.
Есть готовый robots.txt?
Есть готовый robots.txt?
На все ПС которые есть? Да вы шутник. Составьте сами.
Я не шутник, Вы сами говорите
Закройте от не нужных ПС в robots.txt индексацию и будет гуд.
А сейчас констатируете что это нереально.
-----------------------------------------------
Возможно есть те кто обладает списком, или каким либо образом отсекает роботов поисковых систем технически.
Готов обсудить финансовую сторону.
А сейчас констатируете что это нереально.
Почему не реально? Смотрите в логах какие к вам идут роботы ПС и закрывайте от них.
Только вот смысл? Кто сказал, что целевые ПС это только гугл и яндекс? Могут же идти и из других ПС.
Трафик не нужен. Нужно оставить индексацию с двух поисковых систем.
dapinter,
User-agent: Yandex
Disallow:
Host: site.ru
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
Ответ ясен, спасибо за конструктивное обсуждение
-----------------------------------------
Например, следующими строками мы запрещаем всем ботам индексировать контент, кроме бота AdSense.
User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Disallow:
-----------------------------------------------
User-agent для Гугла: Googlebot
User-agent для Рамблера: StackRambler
Вроде юзер агенты указаны верно
Например, следующими строками мы запрещаем всем ботам индексировать контент, кроме бота AdSense.
User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Disallow:
Эти строчками вы запрещаете всем поисковикам индексировать. И дальше первого слеша смотреть robots.txt ПС уже не будет.
User-agent: *
Disallow: / - этими строчками запрещается всем ПС, которые слушаются robot.txt индексировать сайт.
Надо указать сначала блок для тех кому разрешен доступ, а потом для всех остальных уже закрыть.