Блокирую индексацию в роботс а гугл все равно индексирует - что делать?

123 4
S3
На сайте с 18.04.2011
Offline
109
#11
burunduk:
только вот ни слова, про не учёт данной страницы в доменных факторах
как отреагирует гоша если таких страниц будет очень много?
и на них будут вести порно анкоры? :)

выкинет страницы из индекса - тут вопрос только времени т.к. бот должен заново просканировать страницы и увидеть метатег, соответственно говорим о страницах в коде, которых нет критических ошибок - для примера если метатег дублируется бот его, скорее всего, не воспримет как директиву

[Удален]
#12
bober:
Гораздо хуже их иметь в индексе, чем иметь вне индекса прописанным noindex.
Что же до порноанкоров, это совсем другой вопрос.

это один вопрос ;)

что делать если на вас ссылаются кучей мусорных ссылок на несуществующие страницы?

открывать их для индексации и прописывать мету noindex

или отдавать 404 и запрещать в роботсе общим правилом

S3
На сайте с 18.04.2011
Offline
109
#13
burunduk:
это один вопрос ;)
что делать если на вас ссылаются кучей мусорных ссылок на несуществующие страницы?
открывать их для индексации и прописывать мету noindex
или отдавать 404 и запрещать в роботсе общим правилом

отдавать 404 и в роботсе не запрещать доступ к 404 странице, можно для надежности метатег в нее сунуть, иначе как-то так будет - https://www.google.ru/search?q=yandex+404.html

[Удален]
#14

sok3535, вы не понимаете, проблема в том что у вас нет таких страниц, вообще нет и ни когда не было!

например: www.yandex.ru/forum/?=porno-redaktor

отдаёт 404

не запрещена в роботс

S3
На сайте с 18.04.2011
Offline
109
#15
burunduk:
sok3535, вы не понимаете, проблема в том что у вас нет таких страниц, вообще нет и ни когда не было!
например: www.yandex.ru/forum/?=porno-redaktor
отдаёт 404
не запрещена в роботс

ну как не понимаю? на несуществующие стр стоят ссылки, эти несуществующие стр должны отдавать 404 ошибку, что бы их не было в индексе - как то так - или я действительно где то запутался?

[Удален]
#16
sok3535:
эти несуществующие стр должны отдавать 404 ошибку

с точки зрения гугла нет

Обратите внимание: чтобы увидеть тег noindex, мы должны просканировать вашу страницу

т.е. ответ должен быть 200 :)

Анабой Янсур
На сайте с 12.04.2011
Offline
114
#17

А если через WMT удалить домен из индекса?

[Удален]
#18

V_G, может проще домен разделигировать? :)

S3
На сайте с 18.04.2011
Offline
109
#19
burunduk:
с точки зрения гугла нет

т.е. ответ должен быть 200 :)

эээ, как 200 то?

Какой бы красивой и полезной не была ваша страница 404, вероятнее всего, вы не захотите, чтобы она отображалась в результатах поиска Google. Чтобы исключить индексирование страниц 404 поисковыми системами, например Google, убедитесь в том, что при запросе несуществующей страницы ваш веб-сервер возвращает действительный код статуса HTTP 404

отсюда - https://support.google.com/webmasters/answer/93641?hl=ru

[Удален]
#20
sok3535:
эээ, как 200 то?

тогда меты не увидит :)

вот и решайте задачку с двумя противоположными требованиями от пс

хочешь что бы выкинули ответ 200 и мета ноиндекс

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий