Подскажите с robots.txt

12
ravadir
На сайте с 10.11.2007
Offline
118
1183

Всем добрый вечер!

Примерно 2 недели назад сайт исчез из индекса. Написал Платону и получил такой ответ:


Здравствуйте, Роман!

Дело в том, что Ваш сайт может индексироваться Яндексом только по адресу
www.site.ru, адрес site.ru является его зеркалом. В данный
момент у Вас установлен серверный редирект с www.site.ru на
site.ru.
Страницы, с которых стоит серверный редирект, удаляются роботом из базы. Чтобы
вернуть сайт в базу Яндекса, необходимо снять редирект, тогда сайт вновь
начнет индексироваться по адресу www.site.ru. Если для Вас важно,
чтобы сайт индексировался именно по адресу site.ru, есть два пути:
1. оставить все как есть, но скорректировать robots.txt, добавив в него:
User-agent: Yandex
Disallow:
Host: site.ru

Важно: блоки указаний роботам должны разделяться пустой строкой. После этого
надо будет дождаться захода на сайт робота зеркальщика, он отследит изменения
и переклеит сайты по адресу, указанному в Host. Процесс переклейки в среднем
занимает до 4–6 недель, ускорить его, к сожалению, нельзя. В этом случае сайт
появится в базе Яндекса только после того, как произойдет "переклейка".

2. снять редирект, скорректировать robots.txt так, как указано выше. В этом
случае сайт вернется в базу Яндекса по адресу www.site.ru, после
переклейки в базе появится site.ru.

До того, как произошла эта проблема, robots.txt на сайте не было.

Сейчас, руководствуясь письмом, написал такой роботс:


User-agent: Yandex
Disallow: /feed
Host: site.ru

Подскажите пожалуйста, правильно ли я сделал? Всем заранее благодарен.

P.S. Возможно стоило создать топик в "Банах и выпадениях из базы", но мне кажется, что тут дело немного в другом.

Лей трафик на пуши выгодно! (https://daopush.com/ru/manage/main/register?refId=6613)
СД
На сайте с 17.02.2008
Offline
20
#1

ну вроде нормально все,)

Деньги ... легко. () я плохой ребенак, люблю пиво и ненавижу даунов оставил хамский коммент и не подписался? Мог бы и не трудиться, на уродов не в обиде)
motoman
На сайте с 11.05.2006
Offline
333
#2

ravadir, ну собственно ещё редирект снимите, тогда всё будет оке.

Ну а если вы пошли по первому варианту, тогда внимательней читайте инструкции:

Платон:
блоки указаний роботам должны разделяться пустой строкой.
Cмотреть истории инстаграм анонимно - https://anonstories.online/ru Обзорная статья об этом: https://www.pro-smm.com/istorii-v-instagram-anonimno/
salz
На сайте с 22.02.2007
Offline
81
#3
ravadir:
Подскажите пожалуйста, правильно ли я сделал?

корректней будет так:

User-Agent: Yandex
Disallow: /feed
Host: site.ru

User-Agent: *
Disallow: /feed
ravadir
На сайте с 10.11.2007
Offline
118
#4

Всем спасибо, попробую...

телефон
На сайте с 05.09.2006
Offline
101
#5

Если есть аккаунт в панель вебмастера, то там проверяйте в раздел роботс.тхт - на индексации. помогает :)

ravadir
На сайте с 10.11.2007
Offline
118
#6

Хм...

Файл такой (как посоветовал salz):


User-Agent: Yandex
Disallow: /feed
Host: site.ru

User-Agent: *
Disallow: /feed

Проверил через Яндекс.Вебмастер.

Результат:


http://site.ru этот URL не принадлежит вашему домену
http://www.site.ru разрешен

Получается, что ничего не изменилось - робот будет думать, что адрес с www...

salz
На сайте с 22.02.2007
Offline
81
#7
ravadir:
Получается, что ничего не изменилось - робот будет думать, что адрес с www...

Все правильно.

Вам же сказал Платон, ждите зеркальщика.

Редирект убрали?

ravadir
На сайте с 10.11.2007
Offline
118
#8
salz:
Редирект убрали?

Никак не могу понять - какой редирект? Я его не ставил...

salz
На сайте с 22.02.2007
Offline
81
#9
ravadir:
Никак не могу понять - какой редирект? Я его не ставил...

когда в браузере вводите www.site.ru, идет перенаправление на site.ru ?

salz добавил 20.04.2008 в 20:11

В корневой папке сайта файл .htaccess имеется?

ravadir
На сайте с 10.11.2007
Offline
118
#10
salz:
когда в браузере вводите www.site.ru, идет перенаправление на site.ru ?

Да, идет...

salz:
В корневой папке сайта файл .htaccess имеется?

Да, есть. Такого вот содержания:


RewriteEngine on
<IfModule mod_rewrite.c>
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
RewriteCond %{HTTP_REFERER} !^http://site.ru/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http://site.ru$ [NC]
RewriteRule .*\.(jpg|jpeg|gif|png|bmp)$ - [F,NC]
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий