trwiz: запрос site:www.domen.ru никаких изменений, как были проиндексированы левые урлы с параметрами так и остались, при вводе запрещенного урла пишет в сниппете "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", но почему оно фактически не вылетает из индекса?
потому что роботс, для гугла, запрещает сканирование, а индексирование для гугла запрещает метатег noindex, но чтобы бот увидел метатег он должен иметь доступ к странице т.е. запрета на стр в роботсе не должно быть - тут /ru/forum/806103 ссылки на справку
Ушат: Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.
https://support.google.com/webmasters/answer/156449?hl=ru
а дальше че не докопировал? палец устал?
Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).
да, срабатывает
запрос site:www.domen.ru
никаких изменений, как были проиндексированы левые урлы с параметрами так и остались, при вводе запрещенного урла пишет в сниппете "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", но почему оно фактически не вылетает из индекса?
потому что роботс, для гугла, запрещает сканирование, а индексирование для гугла запрещает метатег noindex, но чтобы бот увидел метатег он должен иметь доступ к странице т.е. запрета на стр в роботсе не должно быть - тут /ru/forum/806103 ссылки на справку
ТС, почитай это
На момент просмотра отдавался код 304. Надо было сохранить для пруфа.
все может быть - пока с директивами копался, мог и 304 отдать
Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.
https://support.google.com/webmasters/answer/156449?hl=ru
а дальше че не докопировал? палец устал?
Должна влететь. Кода 404 нет. Надо было еще мета ноиндекс сделать ради эксперимента.
ноиндекс специально не ставил, 404 есть, в гугле и яндексе ее пока нет :) - тока тут https://duckduckgo.com/?q=http%3A%2F%2Fwww.r2racing.ru%2Fchip-tyuning-404-oshibku-v-indexe-googla увидел - и то не понятно - индекс это или что
пока выдает 404 - она и не влетит :)
https://www.google.ru/search?q=yandex+404.html
это почему? она найдена по ссылке, для гугла это более весомо :)
поставил ссылку с уникальным анкором чип-тюнинг 404 ошибки - надеюсь в индекс не влетит :)
https://www.google.ru/search?q=%D1%83%D0%B1%D0%B8%D0%B9%D1%86%D0%B0+%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0+404 :)
так если в роботсе там блокировки не было бы, то и в выдачу она не попала бы :)