Гугл решил, что нам хватит и 0.000004% Интернета

Подобные проблемы возникают постоянно со страницами фильтров на ИМ. По ним нельзя отдавать 404 (а делать это нужно очень долго, пока он пережует и выбросит из кеша). А все остальное просто не срабатывает - наличие ссылок гуглу важнее, чем желание вебмастера закрыть страницы, особенно если по ссылкам люди ходят (с форумов, например). :)

что делать по факту я написал, пример привел, в котором поставил ссылку на свой сайт с трастового форума :), почему именно у вас не так я не знаю т.к. не вижу ситуации, возможные причины отписал выше, к ним добавлю, что в данном случае следует использовать каноникал, опять же без запрета страниц в роботсе

а что) я согласен с гуглом.

Не срабатывает, потому что есть ссылки на закрытые страницы. Каноникал работает лучше, чем запрет индексации, но страницы фильтров отличаются, им не стоит канонические ссылки прописывать :)

ок, по другому, - утверждение не верно, при наличии на странице, (на которую нет запрета в роботсе), тега ноиндекс, либо канонической ссылки, либо страница будет отдавать 404 - в индексе ее не будет, не смотря даже на наличие на нее ссылок, если есть обратные примеры пожалуйста предоставьте пруф - с возможностью, влиять на этот пруф т.е. чтобы мы могли менять роботс и соответство добавить метатег на стр.

p.s. со своей стороны я пруф предоставил - ссылка на тему в посте выше

если у вебмастера имеется возможность отдавать разные заголовки, описание стр, h1, h2 на стр с фильтрами то утверждение верно, если это не возможно - то, плиз, велкам в справку по канонизации стр

Это Вы про ссылки на странице в выдаче с надписью "закрыта в файле роботс"?

Так она действительно закрыта и нет ее в выдаче. Можно проверить

"site:урл_страницы текст_с_страницы" и не покажется текста. В отличии от примера который раньше давал.

Если Вы удаляете страницу через "удаление урл" то она удаляется на 90 дней. По прошествии времени, она снова может быть добавлена в индекс. В справке это четко написано. Как и писал выше - метатег ноиндекс и открыть в роботс.

easywind, для кого robots.txt придуман? Не для этой тупой скотины разве? Он что, над вебом нынче? Может ему гопака сплясать, чтобы он сайт выкинул, а еще точнее - не глотал? Не надо плодить сущностей.

Вот я о том и говорю же :) Полицейский интернета с дубинкой плюет на законы и пытается диктовать свои. При том что он такой же муравей на этом празднике жизни. Просто более жирный.

sok3535, речь не столько о том, как все-таки выкинуть страницы из индекса, сколько о том, как гугль уважает законы дома, в котором обосновался. В частности запрет вебмастера на индексацию его контента. И речь об этом я завел именно с того, что гугль берет то, что ему брать не велят. И надеюсь очень, когда-нибудь его за такое вот воровство контента все-таки всерьез засудят. Пусть и по законам мумбыюмбы.

Ну есть еще клоакинг. Но за это можно словить санкции 😂

Суть в том, что robots.txt - он для всех адекватных ботов-краулеров. И из-за ушибленного о свою великозначимость гугла менять его, нарушая логику остального веба - неправильно. Работают ваши советы или нет - тема для отдельной дискуссии :)

а ничего, что его не только гугл читает? 😂

И потом эти уродцы жадные, имя которым - поисковики, говорят нам не ковыряться в носу и не пытаться влиять на выдачу... ага, щаз, вот прям с разбегу 😂

а ничего, что существуют блоки для различных ботов и разделяются по юзер агенту? или это секретная для Вас информация?

easywind, а ничего, что предусмотрена директива, общая для всех адекватных ботов без лишних сущностей? Если я не хочу предлагать свой контент к индексации, я не обязан перечислять 100500 ботов, да еще и отслеживать появление 100500 новых. Достаточно одной единственной директивы по стандартам. Но только не гуглу, конечно 😂

При том когда на robots.txt клала вебальта, многие орали, мол беспредел и всё такое. А с гуглом значится надо польку танцевать 😂

hypnoise, у гугла самый максимальный индекс из всех ПС насколько я понимаю. И ворочать такими массиывами очень не просто. Вам четко объяснили выше что нужно делать. Непонятно? Удалите сайт в ВМТ гугла и забудте о его существовании.