Закрыть весь сайт в robots.txt

12
[Удален]
1945

Возник тут вопрос, на который я ответа не знаю, не проверял, самому стало интересно.

В общем, кто-нибудь проверял такое?

Сайт практически в зачаточном виде выкладывается на хостинг. То ли из-за неспособности Денвера эмулировать все нужные функции, то ли из-за кривоватых рук разработчика, в общем сайт будет пилиться уже на хостинге. В связи с этим возникает вопрос с robots.txt. Дело в том, что шаблон там на английском, надо переводить, ну и конечно править стили, добавлять блоки, короче работа затянется на пару месяцев. По идее, сайт логично было бы закрыть полностью в роботс.тхт? Или нет? И если закрыть, допилить сайт, открыть, то через какое время ПС потом начнут его кушать?

bon_eur
На сайте с 09.06.2012
Offline
40
#1
Alexey S:
По идее, сайт логично было бы закрыть полностью в роботс.тхт? Или нет?

В зависимости от целей, можно вместо robots.txt временно установить авторизацию апачем.

Alexey S:
И если закрыть, допилить сайт, открыть, то через какое время ПС потом начнут его кушать?

Главную ПС посмотрят сразу как только скачают незапрещающий robots.txt. То есть, плюс-минус, через пару дней. А дальше - зависит много от чего, и не столько от robots.txt.

Alex
На сайте с 11.02.2009
Offline
93
#2

На index вешал заглушку, сайт правился допустим на index5.html

Скушалось с пары ссылок и сайтмапа в ЯВМ, Гугл сам всё нашёл

или с твитер, х/з.

Как то так.

Лучший заработок на сайте (http://profit-partner.ru/?r=3489c20fd3389eb378e338ba3c6eedcd) консультации бесплатно, выплаты еженедельно.
[Удален]
#3

В основном беспокоит конечно Яндекс, он любит во многих случаях "к сожалению, это процесс нельзя ускорить" : )

jondeer
На сайте с 17.08.2011
Offline
73
#4

Гугл часто индексирует, даже если весь сайт запретить в robots.txt:)

Система управления сайтом DataCMS с большим функционалом (/ru/forum/1006835) Продается отличный скрипт-движок для киносайта MovieTime (/ru/forum/993056)
Thommy
На сайте с 06.05.2010
Offline
139
#5
Alexey S:
В основном беспокоит конечно Яндекс, он любит во многих случаях "к сожалению, это процесс нельзя ускорить" : )

Использую конструкцию:

Dissallow:/

Для Яндекса вполне подходит, проблем не было с попаданием в индекс того, чего там быть не должно. Либо как уже говорили, собирайте на поддомене, а потом переносите - тоже вполне себе вариант.

bon_eur
На сайте с 09.06.2012
Offline
40
#6
Thommy:
Использую конструкцию:

Dissallow:/

На всякий случай, чтобы никого не вводить в заблуждение, позволю себе поправить опечатку:

Disallow: /
[Удален]
#7

Thommy,

Беспокойство вызывает все-таки не столько то, что в индекс попадет что-то нежелательное, сколько время, которое потребуется для входа в индекс Яндекса после открытия сайта в роботс.тхт

Thommy
На сайте с 06.05.2010
Offline
139
#8
Alexey S:
Thommy,
Беспокойство вызывает все-таки не столько то, что в индекс попадет что-то нежелательное, сколько время, которое потребуется для входа в индекс Яндекса после открытия сайта в роботс.тхт

По-разному. Я не сео-гуру, но, опираясь на свой опыт, все зависит от того, как скоро вы начнете покупать ссылки. Автоматически (опять же из моего опыта), это может происходить в течение 1 (идеальный вариант) до 3 недель. Второе случается значительно чаще.

S
На сайте с 14.06.2011
Offline
28
#9
Alexey S:
Thommy,
Беспокойство вызывает все-таки не столько то, что в индекс попадет что-то нежелательное, сколько время, которое потребуется для входа в индекс Яндекса после открытия сайта в роботс.тхт

Как раз с этим недавно попал! Уже месяц - ни одной страницы в индексе, загружено (в ЯВМ инфа) - 1 страница. Платоны молчат :(

MudryiKaa
На сайте с 31.01.2010
Offline
143
#10

Как раз сегодня начал вторую стадию такого же эксперимента. Сайт был полностью закрыт в роботсе в течение 3 недель. Вчера вечером открыл. Главная появилась практически сразу. По названию фирмы уже находится легко в поиске. Теперь буду посмотреть... Как дальше пойдет.

Здесь (http://webmasters.leadpush.ru/?ref=kGzamTENhj) адвокаты, риелторы и банки платят 100-500 рублей за клиента!!! Готовые СЯ для дорвеев и СДЛ.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий