Как закрыть от индексации нецелевые поисковые системы?

dapinter
На сайте с 06.06.2005
Offline
103
1958

Доброе время суток.

Задача: закрыть сайт от индексации всеми поисковиками, оставить только целевые - Яндекс, Гугл

Зачем: для того, что бы не возможно было определить внешние ссылки с данного сайта, посредством выдергивания информации с поисковых систем различным софтом.

Что имеем в распоряжении: на данный момент у нас есть robots.txt, со списком запрещающих ботов не целевых поисковых систем, но он на данный момент не актуален. По крайней мере там не все роботы закрыты.

Кому интересно, покажу файл в личном порядке.

Какие варианты, возможно технические, для выполнения задачи знаете. Возможно robots.txt правильный.

Talisman13
На сайте с 20.01.2007
Offline
211
#1
dapinter:
Возможно robots.txt правильный.

Возможно? :) Долго смеялся. :D

Закройте от не нужных ПС в robots.txt индексацию и будет гуд.

dapinter
На сайте с 06.06.2005
Offline
103
#2

Есть готовый robots.txt?

Talisman13
На сайте с 20.01.2007
Offline
211
#3
dapinter:
Есть готовый robots.txt?

На все ПС которые есть? Да вы шутник. Составьте сами.

dapinter
На сайте с 06.06.2005
Offline
103
#4

Я не шутник, Вы сами говорите

Talisman13:
Закройте от не нужных ПС в robots.txt индексацию и будет гуд.

А сейчас констатируете что это нереально.

-----------------------------------------------

Возможно есть те кто обладает списком, или каким либо образом отсекает роботов поисковых систем технически.

Готов обсудить финансовую сторону.

Talisman13
На сайте с 20.01.2007
Offline
211
#5
dapinter:
А сейчас констатируете что это нереально.

Почему не реально? Смотрите в логах какие к вам идут роботы ПС и закрывайте от них.

Только вот смысл? Кто сказал, что целевые ПС это только гугл и яндекс? Могут же идти и из других ПС.

dapinter
На сайте с 06.06.2005
Offline
103
#6

Трафик не нужен. Нужно оставить индексацию с двух поисковых систем.

Talisman13
На сайте с 20.01.2007
Offline
211
#7

dapinter,

User-agent: Yandex

Disallow:

Host: site.ru

User-agent: Googlebot

Disallow:

User-agent: *

Disallow: /

dapinter
На сайте с 06.06.2005
Offline
103
#8

Ответ ясен, спасибо за конструктивное обсуждение

-----------------------------------------

Например, следующими строками мы запрещаем всем ботам индексировать контент, кроме бота AdSense.

User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Disallow:

-----------------------------------------------

User-agent для Гугла: Googlebot

User-agent для Рамблера: StackRambler

Вроде юзер агенты указаны верно

Talisman13
На сайте с 20.01.2007
Offline
211
#9
dapinter:
Например, следующими строками мы запрещаем всем ботам индексировать контент, кроме бота AdSense.

User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Disallow:

Эти строчками вы запрещаете всем поисковикам индексировать. И дальше первого слеша смотреть robots.txt ПС уже не будет.

User-agent: *

Disallow: / - этими строчками запрещается всем ПС, которые слушаются robot.txt индексировать сайт.

Надо указать сначала блок для тех кому разрешен доступ, а потом для всех остальных уже закрыть.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий