Форум Практика оптимизации Любые вопросы от новичков по оптимизации

запрет

D1
На сайте с 26.02.2013
Offline
61
dpakyj1a
243

Добрый день. Если кто знает почему гугл не видит моего роботс.тхт. Например: сайт.ру, есть на нём ссылки сайт.ру/go/другой сайт. И я его скрываю в роботс.тхт - Disallow: /go/. Но гугл всеравно добавляет и добавляет эти ссылки в индекс и так и пишет в результатах поиска:

Сайт.ру/go/другой сайт

Страница недоступна из-за ограничений в файле роботс.тхт.

Так если они видят что недоступна так зачем индексировать и кидать в результаты поиска? Также само и с /feed - в роботс стоит запрет а гугл всеравно кидает в результаты...

Мой сайт - klinok.pl.ua.
Психиатр
На сайте с 16.11.2010
Offline
360
Психиатр
#1

Гугл индексирует много чего, и закрытого и незакрытого.

Может просто надо подождать немного и оно потом уйдет из результатов поиска?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий