sok3535

Рейтинг
109
Регистрация
18.04.2011

да, срабатывает

trwiz:
запрос site:www.domen.ru
никаких изменений, как были проиндексированы левые урлы с параметрами так и остались, при вводе запрещенного урла пишет в сниппете "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", но почему оно фактически не вылетает из индекса?

потому что роботс, для гугла, запрещает сканирование, а индексирование для гугла запрещает метатег noindex, но чтобы бот увидел метатег он должен иметь доступ к странице т.е. запрета на стр в роботсе не должно быть - тут /ru/forum/806103 ссылки на справку

ТС, почитай это

easywind:
На момент просмотра отдавался код 304. Надо было сохранить для пруфа.

все может быть - пока с директивами копался, мог и 304 отдать

Ушат:
Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.
https://support.google.com/webmasters/answer/156449?hl=ru

а дальше че не докопировал? палец устал?

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).
easywind:
Должна влететь. Кода 404 нет. Надо было еще мета ноиндекс сделать ради эксперимента.

ноиндекс специально не ставил, 404 есть, в гугле и яндексе ее пока нет :) - тока тут https://duckduckgo.com/?q=http%3A%2F%2Fwww.r2racing.ru%2Fchip-tyuning-404-oshibku-v-indexe-googla увидел - и то не понятно - индекс это или что

burunduk:
это почему? она найдена по ссылке, для гугла это более весомо :)

поставил ссылку с уникальным анкором чип-тюнинг 404 ошибки - надеюсь в индекс не влетит :)

так если в роботсе там блокировки не было бы, то и в выдачу она не попала бы :)

Всего: 957