Vds robots.txt на сервере

M
На сайте с 16.07.2010
Offline
101
1051

Помогите разобратся

Сайты упали в позициях с поисковиков нет совсем переходов, решил посмотреть robots.txt файл

Например если перейти по адресу http://site.com/robots.txt то выходит код моего файла robots.txt который на сайте как пологается но если посмотреть файл robots.txt через анонимайзер то выводится такой код

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /

Откуда этот код берется совсе непонятно, с какого файла

Может быть что хостер установил свой файл robots.txt на vds сервере и закрыл вход поисковикам что бы снизить нагрузку на сервер, если такое возможно то куда на сервере хостер мог положить это файл?

Спрашивать у хостера не хочу

Download Music Mp3 (http://google.co.il)
webrock
На сайте с 05.04.2010
Offline
261
#1
megallodon:
если такое возможно то куда на сервере хостер мог положить это файл?

robots.txt лежит в корне директивы сайта.

у хостера, кроме снижения нагрузки на сервер, есть и другие варианты, кроме как robots.txt

зы... проверить свой robots.txt можно тут - https://webmaster.yandex.ua/robots.xml

Полный аудит сайтов. (/ru/forum/765361)
M
На сайте с 16.07.2010
Offline
101
#2
webrock:
robots.txt лежит в корне директивы сайта.
зы... проверить свой robots.txt можно тут - https://webmaster.yandex.ua/robots.xml

посмотрел через яндекс как вы порекомендовали выводит мой код все как полагается

а через анонимайзер выодится другой код совершенно где всем поисковикам вход на сайт закрыт

вот вы написали что хостер мог любым другим вариантом закрыть вход, каким вы не могли бы подсказать?

Ведь откуда то берется этот код через анонимайзер?

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /

webrock
На сайте с 05.04.2010
Offline
261
#3
megallodon:
посмотрел через яндекс как вы порекомендовали выводит мой код все как полагается

а через анонимайзер выодится другой код совершенно где всем поисковикам вход на сайт закрыт

вот вы написали что хостер мог любым другим вариантом закрыть вход, каким вы не могли бы подсказать?

Ведь откуда то берется этот код через анонимайзер?

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /

зная IP ботов ПС и даже не ПС, а каких-то "левых" ботов, могут запрещать вход на уровне DNS, или модуля технологии Greylisting, с помощью htaccess.

а что касается анонимайзера... то на то он и анонимайзер...

боты ПС не шифруются под анонимайзер, они имеют субординацию, умеют общаться с серверами

интеллигентными языками.

M
На сайте с 16.07.2010
Offline
101
#4
webrock:
зная IP ботов ПС и даже не ПС, а каких-то "левых" ботов, могут запрещать вход на а что касается анонимайзера... то на то он и анонимайзер...
боты ПС не шифруются под анонимайзер, они имеют субординацию, умеют общаться с серверами
интеллигентными языками.

извините что часто спрашиваю, через анонимайзер они точно показывают, в смысле так и есть, через анонимайзер точно работают значит где то стоит запрет для поисковиков?

Вот для этого сайта мне нужно посмотреть откуда берется код http://music.lekud.com

webrock
На сайте с 05.04.2010
Offline
261
#5
megallodon:
извините что часто спрашиваю, через анонимайзер они точно показывают, в смысле так и есть, через анонимайзер точно работают значит где то стоит запрет для поисковиков?
Вот для этого сайта мне нужно посмотреть откуда берется код http://music.lekud.com

анонимайзер, скорее всего, показал вам свой robots, а ваш, отображается нормально.

обратите внимание на URL при проверке через анонимайзер, он наверняка не соответсвует music.lekud.com

M
На сайте с 16.07.2010
Offline
101
#6
webrock:
анонимайзер, скорее всего, показал вам свой robots, а ваш, отображается нормально.
обратите внимание на URL при проверке через анонимайзер, он наверняка не соответсвует music.lekud.com

Ну вот например анонимайзер

http://www.seogadget.ru/anonymizer

Вот адрес сайта полный путь до файа

http://music.lekud.com/robots.txt

Если не трудно помогите разобратся

P.S Мои претензии не ьезоснований к хостеру, дело в том что до обвала сайтов хостер писал что он закрыл вход поисковикам из за нагрузки но я потребовал открыть и хостер сказал что сделает чтонеть но все равно сайты не работали хотя хостер сказал что убрал запрет для входа поисковиков

webrock
На сайте с 05.04.2010
Offline
261
#7
megallodon:
Ну вот например анонимайзер
http://www.seogadget.ru/anonymizer

Вот адрес сайта полный путь до файа
http://music.lekud.com/robots.txt

Если не трудно помогите разобратся

P.S Мои претензии не ьезоснований к хостеру, дело в том что до обвала сайтов хостер писал что он закрыл вход поисковикам из за нагрузки но я потребовал открыть и хостер сказал что сделает чтонеть но все равно сайты не работали хотя хостер сказал что убрал запрет для входа поисковиков

ну и сравните адрес в адресной строке http://music.lekud.com.ext.zawq.ru/robots.txt?

и ваш http://music.lekud.com/robots.txt

в вашем robots.txt нет запретов, не вижу смысла для переживаний.

сайты могут работать и без robots.txt это не системный файл.

M
На сайте с 16.07.2010
Offline
101
#8
webrock:
ну и сравните адрес в адресной строке http://music.lekud.com.ext.zawq.ru/robots.txt?

и ваш http://music.lekud.com/robots.txt

в вашем robots.txt нет запретов, не вижу смысла для переживаний.
сайты могут работать и без robots.txt это не системный файл.

вы хотите сказать можно быть увереным что со стороны хостера ничего не применялось?

странно у меня 3 сайта на сервере в одно время все рухнули без причин ссылки не покупаются и не продаются санкций в гугле нет

и что любопытно новый домен установил он тоже с поисковиков просто нет переходов совсем

хостинг шикарный и сами хостеры нормальные люди отличные ребята, может какойнеть их техник по запарке закрыл доступ поисковикам

вот вы писали что еще другим спрособо на сервере хостер мог закрыть вход поисковикам, какие есть еще способы не через сайт а на сервере?

E
На сайте с 21.09.2009
Offline
283
#9
megallodon:
санкций в гугле нет

да ну? А помнится уже несколько обсуждений на гуглефоруме :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий