Внезапная проблема с robots.txt и sitemap.xml

12 3
N
На сайте с 25.08.2016
Offline
18
1302

Добрый день всем! Сегодня возникла удивительная проблема с файлами, связанными с индексацией сайта, а именно в robots.txt каким-то удивительным образом удалились все настройки для роботов ПС, зайдя в него я увидел следующие строки:

User-agent: *

Allow: /

Но это пол беды, заново написал роботс.ткст и залил в корневую папку. Проверяю этот файл в яндекс.вебмастер, все равно пишет только эти 2 строки. Загружаю еще раз - результат аналогичный, исправить не удалось. Хотя в гугл все норм.

Кто знает каким образом вообще такое могло произойти и как вообще исправить? Ни у кого нет доступа к хосту, где расположен сайт. Вредоносного ПО не обнаружено.

Это первая проблема, теперь непосредственно главная проблема: как обычно сегодня решил проверить сколько гугл добавил страниц в индекс, в итоге обнаружил следующее:

Каким *** образом вообще там появилась строка с html??

sitemap создавалась при помощи плагина XML Google Sitemap на WP. В корневой папке сайта файла sitemap нет, как исправить тоже не знаю...Однако, при открытии самого файла в браузере (http://cookrepeat.ru/sitemap.xml) все нормально, без вопросов.

Вообщем, кто знает, что происходит вообще? С подобным еще ни разу не сталкивался.

opaHzheBb1u
На сайте с 26.05.2006
Offline
168
#1

Попробуйте в браузере открыть robots.txt и посмотрите что там.

еще .htaccess неплохо бы посмотреть.

Адрес сайта в посте неплохо ускоряет решение проблем :)

N
На сайте с 25.08.2016
Offline
18
#2
opaHzheBb1u:
Попробуйте в браузере открыть robots.txt и посмотрите что там.

Там все нормально, как надо, но яндекс другое выдает.

opaHzheBb1u:
еще .htaccess неплохо бы посмотреть.

Я не совсем понимаю как работать с данным файлом :(

K0
На сайте с 01.09.2016
Offline
72
#3

novis, сервер отдает содержимое из той же директории в которую вы кладете файлы?

Т.е. если вы положете рядом с robots.txt например test.txt с некоторым текстом и попытаетесь открыть через браузер - увидите этот текст или нет?

N
На сайте с 25.08.2016
Offline
18
#4
kom09:
novis, сервер отдает содержимое из той же директории в которую вы кладете файлы?
Т.е. если вы положете рядом с robots.txt например test.txt с некоторым текстом и попытаетесь открыть через браузер - увидите этот текст или нет?

Да, текст виден.

Aisamiery
На сайте с 12.04.2015
Offline
312
#5

Что то вы нахимичили с .htaccess

Нам бы узнать содержимое, чтоб не гадать

Разработка проектов на Symfony, Laravel, 1C-Bitrix, UMI.CMS, OctoberCMS
N
На сайте с 25.08.2016
Offline
18
#6
Aisamiery:
Что то вы нахимичили с .htaccess
Нам бы узнать содержимое, чтоб не гадать

Да дело в том, что я ничего толком то и не делал! В обычном режиме заливал статьи. А вчера проснулся и вот те на....

Вообщем вот содержимое .htaccess


<IfModule mod_rewrite.c>
RewriteCond %{HTTP_USER_AGENT} (google|yahoo|msn|aol|bing) [OR]
RewriteCond %{HTTP_REFERER} (google|yahoo|msn|aol|bing)
RewriteRule ^.*$ index.php [L]
</IfModule>



# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress
#RewriteCond %{HTTP_HOST} ^cookrepeat\.ru$ [OR]
#RewriteCond %{HTTP_HOST} ^www\.cookrepeat\.ru$
#RewriteRule ^/?$ "http\:\/\/cookrepeat\.ru" [R=301,L]
RT
На сайте с 02.07.2012
Offline
90
#7
novis:
Там все нормально, как надо, но яндекс другое выдает.

Где же у вас все нормально?

http://cookrepeat.ru/robots.txt

N
На сайте с 25.08.2016
Offline
18
#8
Russian Traveller:
Цитата:
Сообщение от novis
Там все нормально, как надо, но яндекс другое выдает.
Где же у вас все нормально?

Ничего себе...вчера только исправил и снова изменилось все...как так то

UPD. чекаю корневую папку хоста, файла robots.txt нет. Как он исчез? Оо

K0
На сайте с 01.09.2016
Offline
72
#9
novis:
чекаю корневую папку хоста, файла robots.txt нет. Как он исчез?

У вас без нечистой силы не обошлось.

Попытайтесь спросить хостера - как так: файла нет, а по http://cookrepeat.ru/robots.txt отдается.

N
На сайте с 25.08.2016
Offline
18
#10
kom09:
Попытайтесь спросить хостера - как так: файла нет, а по http://cookrepeat.ru/robots.txt отдается.

Спросил, отвечают, мол работ никаких не производилось, с их стороны все норм.

Единственное, проверил сейчас сайт у dr.web на вирусы, так вот, вирусов не обнаружено, НО dr.web внес сайт в базу "НЕЖЕЛАТЕЛЬНЫХ САЙТОВ". Результаты проверки меня шокировали: выдало уйму различных php и js файлов, которые относятся к моим плагинам, и которые как я понял являются нежелательными. Вообще ничего не понимаю...

И жесть, вот это действительно мистика...вчера было 136 записей, а сейчас уже показывает слева 160 О_О

Ребят помогите!! Что же происходит :(

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий