Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Robots.txt не работает

G
На сайте с 24.11.2014
Offline
15
govegango
641

Здравствуйте.

Прописал для сайта remont.vashstorage.ru

User-agent: *

Disallow: /

в robots.txt

Через 2 недели после загрузки на сервер, сайт успешно проиндексировался Яндексом...

Может я сделал что то неправильно? Почему Яндекс не учел запись?

Помогите, пожалуйста, советом.

VO
На сайте с 22.01.2010
Offline
95
VsOK
#1

Если закрыть весь сайт, то нужно так

---

User-agent: *

Disallow: /

---

Подробнее здесь http://robotstxt.org.ru/robotsexclusion/guide

Кстати закрывал сайт от индексации файлом robots.txt но сайт все таки Яндекс проиндексировал. А это был на временном адресе старый сайт который я менял на новый. В результате теперь яндекс видит что на новом сайте не уникальный контент и понизил меня в выдаче.

В результате теперь имею проблему описанную здесь /ru/forum/911206

Есть еще предположение, что робот Яндекса успел проиндексировать этот временный сайт до моего закрытия, но это было не более получаса и уж очень не вериться в такую возможность.

Как закрыть от индексации "Host" в файле robots.txt Открытие раздела для индексации
Staid
На сайте с 30.07.2014
Offline
59
Staid
#2

govegango, я не вижу чтоб ваш сайт участвовал в поиске.

host:remont.vashstorage.ru

[Удален]
#3

govegango, вы видимо путаете факт именно индексирования и факт нахождения в выдаче. Это две большие разницы.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий