Гугл проинедксировал Robots.txt

Ну так, скорее плохо было бы если он его не проиндексировал.

Он для этого и нужен.

Потому что роботс это рекомендация, а не приказ. Убрать можно, но зачем? Проиндексировал, его проблемы.

Как поет Шевчук: "ты не один"

Можете запретить индексацию в роботсе :)

Просто столкнулся в первый раз с этим и решил уточнить, но как понял всё норм.

0_о

так а че не индексировать если не запрещено?)

А кто знает, в чем может быть причина данного явления? Интересно, почему на одних сайтах индексирует, а на других - нет?

Может в названии файла ошибка? Например, буква "о" русская вставлена.

если содержание в роботсе интереснее чем на сайте, то он и ранжироваться будет лучше :)

Зайти в кабинет вебмастера Google и руками удалить нужный url(полный путь sait.ru/robots.txt) в разделе удалить url ( удаление из выдачи не повредит дальнейшей работе сайта)

P.s Google бывает индексирует то что не нужно, приходится руками удалять в кабинете вебмастер.

Иногда приходится не один раз это делать, так как потом через какое то время опять может появится.(несмотря на закрытие в robots)

тоже думал так сделать, но не знал окажет ли данное действие какое-нибудь влияние