Гугл не удаляет страницы через Disallow

G
На сайте с 07.09.2008
Offline
124
716

После заражения сайта, были удалены левые ссылки и на них был поставлен запрет в роботс

Disallow: /папка/*

Прошло 2 месяца, но почему-то ссылки еще присутствуют и открываются в кэше гугла. Может нужно еще предпринять какие-то действия для удаления страниц? (яндексу этого было достаточно)

HOSTiQ
На сайте с 23.12.2013
Offline
38
#1

Robots.txt не дает полный запрет индексации в google. Об этом они писали у себя в support.google.com.

Удаляйте весь ненужный каталог через инструменты для вебмастеров (как это сделать написано тут), а также добавьте метатег noindex в head-секцию данных страниц (если это конечно возможно).

Не активны на форуме, пишите или звоните по адресу: https://hostiq.ua/contact/ (https://hostiq.ua/contact/)
G
На сайте с 07.09.2008
Offline
124
#2
HOSTiQ:
Robots.txt не дает полный запрет индексации в google. Об этом они писали у себя в support.google.com.

Удаляйте весь ненужный каталог через инструменты для вебмастеров (как это сделать написано тут), а также добавьте метатег noindex в head-секцию данных страниц (если это конечно возможно).

по тем ссылкам сейчас вообще 404 стрница висит. А кэш еще 2013 года со старыми страницами

ссылок много, есть только их маска, а по маске, насколько я знаю нельзя удалять страницы

---------- Добавлено 07.03.2014 в 17:27 ----------

нашел - удаление каталога, удаляет все подстранички папки.

E
На сайте с 21.09.2009
Offline
283
#3
goacher:
по тем ссылкам сейчас вообще 404 стрница висит

А откуда бот про это узнает если они в роботс для сканирования закрыты?

Вам HOSTiQ правилно пишет варианты. Самый простой - откройте в роботс, гуглебот получит 404 и страницы вывалятся из индекса.

G
На сайте с 07.09.2008
Offline
124
#4
easywind:
А откуда бот про это узнает если они в роботс для сканирования закрыты?
Вам HOSTiQ правилно пишет варианты. Самый простой - откройте в роботс, гуглебот получит 404 и страницы вывалятся из индекса.

а вот как оно) если закрыто в роботс - то гугл старые страницы оставляет а новые не сканирует.

Я через запрос на удаление URL - делаю удаление каталога, должно сработать!

E
На сайте с 21.09.2009
Offline
283
#5
goacher:
а новые не сканирует.

Если они под правило запрета на сканирование, в роботс попадают.

goacher:
Я через запрос на удаление URL - делаю удаление каталога, должно сработать!

Сработает. Только если в коде не бедет метатега ноиндекс, через 90 дней увидите урл страниц в поиске с надписью "закрыты в роботс" :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий