Форум Сайтостроение Веб-строительство

Как запретить индексацию?

12
[Удален]
1947

Всем привет, подскажите пожалуйста, как можно запретить поисковикам индексировать сайт полностью?

Просто пока сайт на стадии разработки и не хотелось бы что бы он начал индексироваться...

и скажите как потом разрешить поисковикам индексировать сайт, после того как он будет окончательно сделан..?)

Сайт на DLE 8.2

знаю что через htaccess можно..но как

Заранее спасибо

A
На сайте с 19.07.2010
Offline
130
admak
#1

в robots.txt написать: 


User-agent: *

Disallow: /
.............
pernatik
На сайте с 16.09.2010
Offline
26
pernatik
#2

в .htaccess прописать:

SetEnvIfNoCase User-Agent "^Googlebot" search_bot

SetEnvIfNoCase User-Agent "^Yandex" search_bot

SetEnvIfNoCase User-Agent "^Yahoo" search_bot

Запрет остальных ботов:

SetEnvIfNoCase User-Agent "^Aport" search_bot

SetEnvIfNoCase User-Agent "^msnbot" search_bot

SetEnvIfNoCase User-Agent "^spider" search_bot

SetEnvIfNoCase User-Agent "^Robot" search_bot

SetEnvIfNoCase User-Agent "^php" search_bot

SetEnvIfNoCase User-Agent "^Mail" search_bot

SetEnvIfNoCase User-Agent "^bot" search_bot

SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot

SetEnvIfNoCase User-Agent "^Snapbot" search_bot

SetEnvIfNoCase User-Agent "^WordPress" search_bot

SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot

SetEnvIfNoCase User-Agent "^Parser" search_bot

Хотя, проще в robots.txt все таки

Любые работы по DLE
[Удален]
#3

у меня пока нет файла роботс.. а можно вот таким способом...

Вписать в шаблон main.tpl в шапку мета тег 

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

В таком случае запрет будет ко всему сайту?

pernatik
На сайте с 16.09.2010
Offline
26
pernatik
#4
Paguk:
у меня пока нет файла роботс.. а можно вот таким способом...
Вписать в шаблон main.tpl в шапку мета тег 
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

В таком случае запрет будет ко всему сайту?

некоторые поисковики игнорируют данную строчку

A
На сайте с 19.07.2010
Offline
130
admak
#5
Paguk:
у меня пока нет файла роботс..

так создайте :)

это обычный текстовый файл и в нем напишите только эти две строчки.

[Удален]
#6
pernatik:
некоторые поисковики игнорируют данную строчку

ну в принципе интересуют только 2 ПС Яндекс и Гугл...

как они отреагируют на этот тег?

pikasso
На сайте с 27.01.2008
Offline
150
pikasso
#7
Paguk:
у меня пока нет файла роботс..

А что собственно мешает его создать ?

[Удален]
#8
pikasso:
А что собственно мешает его создать ?

ну просто в файл роботс я буду добавлять после другие строчки,с которыми нужно будет разобратся..

ну тогда я понимаю,что лучший вариант это через роботс?

а после когда сайт будет доделан, просто убрать эти 2 строчки и все ?))))

Почта Mail.ru ускорила поиск РСЯ: добавление зеркал к Яндекс Маркет реализовал создание
pernatik
На сайте с 16.09.2010
Offline
26
pernatik
#9
ну в принципе интересуют только 2 ПС Яндекс и Гугл...
как они отреагируют на этот тег?

Адекватно

И ТС, если сайт новый и его не добавляли в ПС через аддурл, то вам не стоит боятся

pikasso
На сайте с 27.01.2008
Offline
150
pikasso
#10
Paguk:
ну просто в файл роботс я буду добавлять после другие строчки,с которыми нужно будет разобратся..
ну тогда я понимаю,что лучший вариант это через роботс?
а после когда сайт будет доделан, просто убрать эти 2 строчки и все ?))))

Все поисковики регулярно проверяют роботс, так что после можно будет просто удалить файл или обновить его содержимое.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий