Задолбался удалять из индекса гугла закрытые в robots страницы

ГОспода, мне лень это искать, но товарищ Кац однозначно говорил. Если на страницу есть внешние ссылки, Гугл срёт на роботс и идёт смотреть чо там. Но если там "noindex, nofollow" - не индексирует.

У меня есть внешние ссылки на страницы, которые отдают 404, страницы закрыты в роботс, тоже попадают в индекс...

Tarry, Ну я тоже слышал, что он срет на роботс если ссылки стоят, такое и у гули там можно во всяких правилах найти. У меня да, на самом сайте есть ссылки на те страницы... Я также слышал, что если роботсом закрыто, и при этом в метах прописано не индексить, то меты игнорятся, вот и думаю поэкспериментировать, убрать в роботсе заперт на часть паг, но оставить в метах запрет на индексацию и поглядеть чаго будет...

А у меня еще и сам robots.txt в индексе лежит, и по его уникальному содержанию можно его найти :)

У вас также?

В мета - не пробовал, ноиндекс ставил - смысла нет, содержание закрыто, но если человек всё же пришёл на страницу, то получает платное - на шару))

Но в моём случае - это скорее глюк.

Принцип такой, закрытые в роботс страницы не попадают в индекс 2-3 месяца, затем все бодро залетают в индекс (палятся по полной)) без кэша (это ещё раз нужно перепроверить), с этого момента они начинают отваливаться по 100-200 страниц ежедневно, до тех пор пока не отвалятся все закрытые... И такие прикольчики уже видел ни раз...

Убери. Или не отдавай их боту. Или генери хитрым жабаскриптом.

. .

Смысл убирать, если робот уже всё схавал?

StaroverovMax добавил 05-08-2011 в 11:47

Этот робот - неупавляем и прожорлив))

Google кладет на robots.txt, 404, метатеги, редиректы и отсутствие ссылок, упорно отображая страницы в списке проиндексированных, а удаление через вебмастер всего лишь скрывает страницы на 90 дней, продолжая хранить их в индексе

А для проиндексированых robots.txt он еще и тайтлы придумывает: http://www.google.ru/search?q=inurl:%22com/robots.txt%22

да это редкий по гадостности глюк гугла... мне так уже 2 сайта конкуренты убили... ставят туевы кучи сылок на блог хостингах на несуществующие страницы ... сайт отдает 404 но гуглу пофиг он все это добро сует в индекс и получается гамносайт... в общем кто в теме уже давно конкурентов с топов выносит таким макаром... я в вебмастере писал им про это но ответа уже пол года как нету и телодвижений также... может у кого есть реальный доступ к "телу" тамошних мозгов... обьясните им на пальцах что если сайт отдает 404 и эта страница закрыта в роботсе и метатегом то это не значит что страницу нужно в индекс добавлять только по тому что на нее стоит ссылка на каком то сплоге.