Блокирую индексацию в роботс а гугл все равно индексирует - что делать?

1 234
AboutSEO
На сайте с 18.01.2007
Offline
154
#31

ну значит гугл в корень офигел и игнорирует все возможный спецификации 😂

E
На сайте с 21.09.2009
Offline
283
#32
sok3535:
поставил ссылку с уникальным анкором чип-тюнинг 404 ошибки - надеюсь в индекс не влетит

Должна влететь. Кода 404 нет. Надо было еще мета ноиндекс сделать ради эксперимента.

[Удален]
#33
easywind:
Кода 404 нет

как это нет - есть

S3
На сайте с 18.04.2011
Offline
109
#34
easywind:
Должна влететь. Кода 404 нет. Надо было еще мета ноиндекс сделать ради эксперимента.

ноиндекс специально не ставил, 404 есть, в гугле и яндексе ее пока нет :) - тока тут https://duckduckgo.com/?q=http%3A%2F%2Fwww.r2racing.ru%2Fchip-tyuning-404-oshibku-v-indexe-googla увидел - и то не понятно - индекс это или что

E
На сайте с 21.09.2009
Offline
283
#35

На момент просмотра отдавался код 304. Надо было сохранить для пруфа.

Помнится на сайте умудрился поставить дубликат страниц. Штук 50 было из за параметра в урл(в предложении HTML пачка страниц появилась). На ПХП сделал код, при появлении в get запросе параметра отдавать хеадер 404. За 2 недели вывалились страницы.

sok3535, для эксперимента надо было ссылку дать с какой страницы идет на подопытную. Можно потыкать для интереса и посмотреть результат.

Ушат
На сайте с 19.09.2012
Offline
95
#36

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

https://support.google.com/webmasters/answer/156449?hl=ru

НЕ нажимать (). не ходите сюда (http://orteil.dashnet.org/cookieclicker/) ибо проклятие требует чью-либо душу в замен моей
S3
На сайте с 18.04.2011
Offline
109
#37
Ушат:
Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.
https://support.google.com/webmasters/answer/156449?hl=ru

а дальше че не докопировал? палец устал?

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).
Ушат
На сайте с 19.09.2012
Offline
95
#38

каюсь, виноват

S3
На сайте с 18.04.2011
Offline
109
#39
easywind:
На момент просмотра отдавался код 304. Надо было сохранить для пруфа.

все может быть - пока с директивами копался, мог и 304 отдать

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий