яндекс видит не тот robots.txt

W4
На сайте с 31.01.2012
Offline
17
887

Здравствуйте уважаемые форумчане, помогите решить проблему.

по запросу http://hardtekkno.ru/robots.txt выдается один robots, а яндекс видит совсем другой, который запрещает индексирование, подскажите что нужно сделать чтобы остался один, правильный.

siv1987
На сайте с 02.04.2009
Offline
427
#1
warlog4:
а яндекс видит совсем другой

А скажите нам, как это вы определяете что он видит?

И да, перевод строк между User-agent и Disallow, и другими директивами секции не должно быть. Да и вообще нафига вы добавили тот яндекс, отменив все правила общей секции?

W4
На сайте с 31.01.2012
Offline
17
#2

Поясняю. Я залил купленный сайт на хостинг. После добавления в индексацию яндекса, обнаружилось, что в роботсе стоит запрет на индексацию, но я не писал этот роботс, да и найти его не могу чтобы удалить. Написал новый, залил в корень, но яндекс продолжает пользоваться старым. Подскажите что нужно сделать.

v_ovan
На сайте с 14.05.2008
Offline
165
#3

зайти в Яндекс-Вебмастер, настройка индексирования, нажать кнопку Загрузить robots.txt с сайта

сам не пробовал, т.к. такой проблемы не было. но по идее должно помочь

Горящие туры (https://teplo.ru/)
W4
На сайте с 31.01.2012
Offline
17
#4

В том то и дело, что нажимая на "загрузить robots.txt с сайта" я вижу:

User-agent: *

Disallow: /

получается что яндекс видит не тот файл который я загрузил в корень, а какой-то еще robots вот только найти его я не могу

TF-Studio
На сайте с 17.08.2010
Offline
334
#5

Сделайте нормальный robots.

У вас там ерунда какая-то.

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).
W4
На сайте с 31.01.2012
Offline
17
#6

ОК. Удалил файл совсем...

но яндекс все равно видит:

User-agent: *

Disallow: /

где этот файл????

AP
На сайте с 14.04.2010
Offline
122
#7

Яндекс видит роботс сервера, а не вашего сайта

http://37.140.192.7/robots.txt

W4
На сайте с 31.01.2012
Offline
17
#8
authoritative_person:
Яндекс видит роботс сервера, а не вашего сайта
http://37.140.192.7/robots.txt

Ну наконец-то внятный ответ, а как изменить роботс сервера или заставить яндекс пользоваться моим роботсом а не сервера?

G-and-Y
На сайте с 29.06.2013
Offline
185
#9

пишите в тп хосту

Абузо-устойчивые впс ( http://vps-hosting.lv/?p=13408 )
AP
На сайте с 14.04.2010
Offline
122
#10

warlog4, пишите в техническую поддержку хостинга

https://www.reg.ru/support/ticket

лучше чем они вам никто не объяснит

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий