Вопрос по индексации поисковиками

M4
На сайте с 25.06.2008
Offline
7
479

Подскажите, как поведут себя поисковые роботы, если у меня в index.html прописан тег мета с запретом индексации, также есть файл robots.txt, в котором записан полный запрет индексации.

Если у меня в какой-либо папке будет лежать сайт, роботы смогут как-то прощимиться сквозь запреты и проиндексить?

P.s. Не хотелось бы чтоб поисковики проиндексили в данный момент сайт, т.к. хочу выложить его чтобы потестить.

Всем спасибо!

basilic
На сайте с 16.05.2008
Offline
369
#1
marin4enko:
Подскажите, как поведут себя поисковые роботы, если у меня в index.html прописан тег мета с запретом индексации, также есть файл robots.txt, в котором записан полный запрет индексации.
Если у меня в какой-либо папке будет лежать сайт, роботы смогут как-то прощимиться сквозь запреты и проиндексить?

P.s. Не хотелось бы чтоб поисковики проиндексили в данный момент сайт, т.к. хочу выложить его чтобы потестить.

Всем спасибо!

Ну если полностью сайт защищён то не проиндексят.

urbanajangla
На сайте с 20.01.2005
Offline
52
#2

Если правильно прописано, то индексить не должны.

{купить|продать} {морды|мордашки|внутренние|статьи|ссылки в тексте} (http://www.setlinks.ru/?pid=1837)
M4
На сайте с 25.06.2008
Offline
7
#3

вот что у меня прописано:

в индексе: <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

в robots.txt:

User-agent: *

Disallow: /

правильно я прописал?

L
На сайте с 11.02.2008
Offline
41
#4

скажите что должно быть прописано в файле robots.txt и на странице, чтобы нормально роботы все индексировали!?

Ермаков запретил ставить в подписи просьбу о минусе ))) Ермаков - ну дай еще минуса!!!!!!!!!!!!
Light Phantom
На сайте с 17.03.2007
Offline
188
#5
marin4enko:
правильно я прописал?

правильно

listen:
скажите что должно быть прописано в файле robots.txt и на странице, чтобы нормально роботы все индексировали!?

Если ничего запрещать к индексации не собираетесь, то можно вообще robots.txt не создавать

miker30
На сайте с 13.04.2008
Offline
88
#6

А что вообще можно наколдавать с роботсом? кроме запрета индексации, какие фокусы научились сеошники творить с ним?

БАБЛО!!! (http://seopult.ru/ref.php?ref=2f5fe3432bed61fe) сэкономь на оптимизации издержек
G
На сайте с 20.06.2008
Offline
48
#7

miker30, ну еще поищите на форуме, тут зеркальщик кому-то обои клеит...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий