Проблема с Robots.txt

D
На сайте с 16.06.2015
Offline
63
3488

Всем здравствуйте! Такая проблема возникла. Правлю я значит свой robots.txt, сохраняю изменения. Захожу по адресу site.ru/robots.txt , а там все тот же старый robots.txt.

Кэши сайта, браузера чистил.

Сервер на Vesta CP+UBUNTU, на нем же еще два сайта, и обоих сайтов robots.txt работает нормально.

Есть предположение что это все из-за моего VDS, куда КОПАТЬ?

S
На сайте с 28.02.2013
Offline
31
#1

Посмотрите права на файл

D
На сайте с 16.06.2015
Offline
63
#2

665 🚬🚬🚬🚬🚬🚬🚬

---------- Добавлено 12.02.2016 в 10:17 ----------

В панели вебмастера гугл появился новый роботс, но по прежнему если переходить по ссылке site.ru/robots.txt Там старый роботс. Чудеса какие-то

K
На сайте с 30.07.2008
Offline
135
#3

Бывает, что роботс правится только через админку.

---------- Добавлено 12.02.2016 в 10:55 ----------

откройте robots и нажмите в браузере ctrl+F5

D
На сайте с 16.06.2015
Offline
63
#4
kirf:
Бывает, что роботс правится только через админку.

---------- Добавлено 12.02.2016 в 10:55 ----------

откройте robots и нажмите в браузере ctrl+F5

Я же написал что пробовал разные браузеры, сброс/очистка/CTRL+f5 кэша.

Wordpress там стоит, как и везде. Всегда правилось через ftp и все ок было.

---------- Добавлено 12.02.2016 в 11:36 ----------

а в YandexWebmaster старый роботс

K
На сайте с 30.07.2008
Offline
135
#5

wordpress, говорите...

может, поможет? мне помогло как-то: http://follow-up.ru/robots-in-wordpress/

дани мапов
На сайте с 06.09.2012
Offline
204
#6

А если по фтп удалить robots.txt и через браузер зайти, что покажет?

Написание и доработка скриптов (PHP, MySQL, JavaScript, jQuery) (/ru/forum/811046)
D
На сайте с 16.06.2015
Offline
63
#7
дани мапов:
А если по фтп удалить robots.txt и через браузер зайти, что покажет?

Удалил. Все равно это:

# vestacp autogenerated robots.txt

User-agent: *

Crawl-delay: 10

wordpress, говорите...

может, поможет? мне помогло как-то: http://follow-up.ru/robots-in-wordpress/

и снова нет😡

Но я полагаю что направление верное, какой-то плагин вставляет свой robots.txt, а вот какой хз.

A4
На сайте с 24.08.2015
Offline
62
#8
dmasta:
Удалил. Все равно это:
# vestacp autogenerated robots.txt
User-agent: *
Crawl-delay: 10

и снова нет😡
Но я полагаю что направление верное, какой-то плагин вставляет свой robots.txt, а вот какой хз.

Что бы вычислить этого гаденыша (плагин) Зайдите через Total на ftp и поищите файл с содержимым robots.txt

Поиск должен будет вам подсказать что это за плагин.

sealord
На сайте с 03.10.2003
Offline
128
#9

гуглить, например:

"vesta cp robots.txt"

вот тут путь к роботсу

https://forum.vestacp.com/viewtopic.php?t=6606

Ora et labora
D
На сайте с 16.06.2015
Offline
63
#10
гуглить, например:
"vesta cp robots.txt"

вот тут путь к роботсу
https://forum.vestacp.com/viewtopic.php?t=6606

Я знаю что сама CP по умолчанию для каждого созданного домена создает стандартный robots.txt, дальше она никак не участвует в процессе. То есть я удаляю этот robots.txt и все он больше не появляется.


Что бы вычислить этого гаденыша (плагин) Зайдите через Total на ftp и поищите файл с содержимым robots.txt
Поиск должен будет вам подсказать что это за плагин.

поставил на поиск, может найдет во временных файлах или кэше. В бд потом буду шерстить.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий