Vds robots.txt на сервере

robots.txt лежит в корне директивы сайта.

у хостера, кроме снижения нагрузки на сервер, есть и другие варианты, кроме как robots.txt

зы... проверить свой robots.txt можно тут - https://webmaster.yandex.ua/robots.xml

посмотрел через яндекс как вы порекомендовали выводит мой код все как полагается

а через анонимайзер выодится другой код совершенно где всем поисковикам вход на сайт закрыт

вот вы написали что хостер мог любым другим вариантом закрыть вход, каким вы не могли бы подсказать?

Ведь откуда то берется этот код через анонимайзер?

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /

зная IP ботов ПС и даже не ПС, а каких-то "левых" ботов, могут запрещать вход на уровне DNS, или модуля технологии Greylisting, с помощью htaccess.

а что касается анонимайзера... то на то он и анонимайзер...

боты ПС не шифруются под анонимайзер, они имеют субординацию, умеют общаться с серверами

интеллигентными языками.

извините что часто спрашиваю, через анонимайзер они точно показывают, в смысле так и есть, через анонимайзер точно работают значит где то стоит запрет для поисковиков?

Вот для этого сайта мне нужно посмотреть откуда берется код http://music.lekud.com

анонимайзер, скорее всего, показал вам свой robots, а ваш, отображается нормально.

обратите внимание на URL при проверке через анонимайзер, он наверняка не соответсвует music.lekud.com

Ну вот например анонимайзер

http://www.seogadget.ru/anonymizer

Вот адрес сайта полный путь до файа

http://music.lekud.com/robots.txt

Если не трудно помогите разобратся

P.S Мои претензии не ьезоснований к хостеру, дело в том что до обвала сайтов хостер писал что он закрыл вход поисковикам из за нагрузки но я потребовал открыть и хостер сказал что сделает чтонеть но все равно сайты не работали хотя хостер сказал что убрал запрет для входа поисковиков

ну и сравните адрес в адресной строке http://music.lekud.com.ext.zawq.ru/robots.txt?

и ваш http://music.lekud.com/robots.txt

в вашем robots.txt нет запретов, не вижу смысла для переживаний.

сайты могут работать и без robots.txt это не системный файл.

вы хотите сказать можно быть увереным что со стороны хостера ничего не применялось?

странно у меня 3 сайта на сервере в одно время все рухнули без причин ссылки не покупаются и не продаются санкций в гугле нет

и что любопытно новый домен установил он тоже с поисковиков просто нет переходов совсем

хостинг шикарный и сами хостеры нормальные люди отличные ребята, может какойнеть их техник по запарке закрыл доступ поисковикам

вот вы писали что еще другим спрособо на сервере хостер мог закрыть вход поисковикам, какие есть еще способы не через сайт а на сервере?

да ну? А помнится уже несколько обсуждений на гуглефоруме :)