закрыть сайт от поисковиков

АР

23

Артур Рострига

8 декабря 2009, 22:21

936

Если поставить доступ по паролю на домен в файле htaccess поисковые боты какой получат ответ?

403 (доступ запрещен) или какой?

P

0

phpdevman

8 декабря 2009, 22:27

#1

Так, ещё раз суть вопроса можно?

PHP-скрипты (качественно, вовремя и недорого) (/ru/forum/429475)

25

Sinless

8 декабря 2009, 22:28

#2

HTTP/1.0 401 Unauthorized

АР

23

Артур Рострига

8 декабря 2009, 22:34

#3

а как можно перенаправить поисковиков, в частности яндекса, чтоб он удалил даже домен с поиска? чтоб пишешь http://yandex.ua/yandsearch?text=domain.ru он не находил этот домен..

сейчас выдает http://domain.ru На первом месте в выдаче.

25

Sinless

8 декабря 2009, 22:36

#4

robots.txt должен помочь


User-agent: *
Disallow: /

АР

23

Артур Рострига

8 декабря 2009, 22:37

#5

не помогает, так прописано, а яндекс все равно шимиться.

25

Sinless

8 декабря 2009, 22:39

#6

Попробуйте воспользоваться соответствующим инструментов http://webmaster.yandex.ru/delurl.xml

Яндекс должен выкинуть морду рано или поздно... теоретически.

АР

23

Артур Рострига

8 декабря 2009, 22:49

#7

а можно чтоб htaccess возврашял не 401 ошибку а 404 на домен?

144

HoSStiA

8 декабря 2009, 22:59

#8

А ответ "500 Internal Server Error" случайно не устраивает? ;) правда, оно будет всем выдаваться, не только поисковикам ;)

По теме - можно эмулировать header("HTTP/1.0 401 Unauthorized"); в скрипте сайта для User-Agent'ов роботов ПС, не заваливая сервер и не удаляя .htaccess (в последнем случае добьетесь только 404-й код ошибки)

АР

23

Артур Рострига

8 декабря 2009, 23:02

#9

а в header можно послать 404 ошибку?

а можно пример. как отбирать ботов?

25

Sinless

8 декабря 2009, 23:05

#10

Можно :)


RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} Yandex [NC]
RewriteRule .* - [R=404]

Курс биткоина превысил $50 тысяч

Что делать, если ваша email-рассылка попала в спам