Закрыть сайт от поисковиков

A
На сайте с 22.04.2009
Offline
72
875

Есть два вопроса.

1. Какими командами и в каком файле можно закрыть сайт от Яху и других зарубежных поисковиков и роботов транжирящих трафик, Гугл-Картинок и Яндекс-Картинок? А так же у Гугла есть робот, который делает превьюшки для выдачи, так же хотелось бы закрыться от него.

2. Гугл и Яндекс не обидятся на сайт, если он не будет пускать их роботов-картинщиков к себе?

Заранее большое спасибо.

YD
На сайте с 03.06.2008
Offline
363
#1
anbura:
Есть два вопроса.
1. Какими командами и в каком файле можно закрыть сайт от Яху

robots.txt

user-agent: slurp

disallow: /

cheredov
На сайте с 07.04.2011
Offline
125
#2
Иван Чередов (http://ivan.cheredov.com/about/)
[Удален]
#3

в .htaccess

Seo-Seo
На сайте с 05.12.2006
Offline
292
#4
iliaG:
в .htaccess

Изыски. Второй пост в данном треде вполне исчерпывающий.

Комплексное продвижение от группы профи. Внимательно, качественно, грамотно. Дизайн, контекст, таргет. (/ru/forum/1024059) hugo.digital (https://hugo.digital)
[Удален]
#5
Seo-Seo:
Изыски. Второй пост в данном треде вполне исчерпывающий.

Зато снаружи это не видно.

Впрочем, нет все это умеют делать.

cheredov
На сайте с 07.04.2011
Offline
125
#6
iliaG:
Зато снаружи это не видно.
Впрочем, нет все это умеют делать.

Да и не всем это надо. Вопрос был про оптимизацию трафика. А для этого роботса достаточно, хотя htaccess конечно понадежней.

[Удален]
#7

Этот метод существует, так почему бы о нем не сообщить человеку? А там он уже сам решит, что ему больше подходит. Лишние знания еще никогда не были "лишними" и никому не мешали.:)

cheredov
На сайте с 07.04.2011
Offline
125
#8
iliaG:
Этот метод существует, так почему бы о нем не сообщить человеку? А там он уже сам решит, что ему больше подходит. Лишние знания еще никогда не были "лишними" и никому не мешали.

Согласен с вами. anbura, если интересно, можете почитать мой пост об этом.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий