Как лучше закрывать домен от индексации

12 3
fosko
На сайте с 14.05.2015
Offline
21
1233

Как правильнее закрывать домен от индексации поисковиками, пока сайта нет или он сырой, чтобы потом не поиметь фильтры? Роботс? запрет по IP? Запароленная приватная зона (401)?

Kitaer
На сайте с 23.07.2015
Offline
91
#1

В robots.txt:

User-agent: *

Disallow: /

Так закрывал, вроде все нормально)

fosko
На сайте с 14.05.2015
Offline
21
#2
Kitaer:
В robots.txt:

User-agent: *
Disallow: /

Так закрывал, вроде все нормально)

Гугл говорят игнорирует это. Да и яндекс тоже - в выдаче появляется страница "владелец предпочел скрыть..."

serjoo
На сайте с 12.09.2011
Offline
389
#3
fosko:
Гугл говорят игнорирует это.

Говорят - кур доят.

Пример есть? По Disallow: /

Мультур..
devkalion
На сайте с 03.02.2015
Offline
60
#4

User-agent: *

Disallow: /

данные строки полностью запрещают индексацию всего сайта.

fosko
На сайте с 14.05.2015
Offline
21
#5
serjoo:
Говорят - кур доят.
Пример есть? По Disallow: /

https://support.google.com/webmasters/answer/6062608?hl=ru

Настройки файла robots.txt являются указаниями, а не прямыми командами. Googlebot и большинство других поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их. Чтобы надежно защитить информацию от поисковых роботов, воспользуйтесь другими способами – например, парольной защитой файлов на сервере.

Затребованный пример в файле, скажите, что вы такое в первый раз в жизни видите?

png 147972.png
serjoo
На сайте с 12.09.2011
Offline
389
#6

fosko, примеры есть, или их нет?

Попробуйте. У меня не получается проиндексировать Disallow: /. Может ссылок надо поставить?

donc
На сайте с 16.01.2007
Offline
686
#7

банить ботов в htaccess

в том числе и по айпи

как - искать мне лень, но решение есть, я банил всех

Продвижение сайтов от 25 000 в мес, прозрачно, надежно https://searchengines.guru/ru/forum/818412 , но не быстро, отзывы
fosko
На сайте с 14.05.2015
Offline
21
#8
serjoo:
fosko, примеры есть, или их нет?
Попробуйте. У меня не получается проиндексировать Disallow: /. Может ссылок надо поставить?

mamam.org ну вот купила, валяется пока... однако в индексе в яшке точно. Оно мне надо?

В скрине примеры старта молодняка. Контент по объему СЯ, конкуренции и количеству страниц одинаков, движки, верстка, всё! Одинаково. А старт разный. На первом сейчас в 3 мес 20 хостов (был 2 года закрыт в роботс), на втором сейчас уже 500, был свежерег.

png 147973.png
png 147974.png
fosko
На сайте с 14.05.2015
Offline
21
#9
donc:
банить ботов в htaccess
в том числе и по айпи
как - искать мне лень, но решение есть, я банил всех

deny from all

allow from [СВОЙ IP]

Элементарное решение))) Но мозгодробительное если на сайте работает несколько человек, да ещё и с динамическими. Нередко приходится давать доступ сторонним лицам к файлам, что тоже не гуд.

donc
На сайте с 16.01.2007
Offline
686
#10
fosko:
Но мозгодробительное если на сайте работает несколько человек

маска айпи провайдера.

К тому же я предлагаю, наоборот, ботов банить, а это куда полезнее.

Ну зачем, мне скажем на сайте боты ахрефса или линкпада?

И прочих любопытных - только сервер грузят

Так шта - allow from наше все

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий