Роботс.тхт

Алексей Викторович
На сайте с 19.07.2007
Offline
132
337

Три сайта вылетело из индекса. Сайты впринципе нормальные. Уже три года в индексе. Стал разбираться в чем дело, увидел в корне сайтов файл роботс.тхт(никогда им не пользовался и откуда он взялся в корне трех сайтов мне не известно). Содержание файла такое:

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Host: myimho.org

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Насколько я понял, роботс.тхт закрыл сайт от индексации. Я удалил файл. Сайты вернуться в индекс?

kimberlit
На сайте с 13.03.2007
Offline
370
#1
Алексей Викторович:

Насколько я понял, роботс.тхт закрыл сайт от индексации.

Где закрыл? В каком месте?

Алексей Викторович
На сайте с 19.07.2007
Offline
132
#2

Из яндекса сайты выпали...Думаю, что из-за содержания робот.тхт. Выше я его выложил, и хочу что бы кто нибудь либо подвердил, либо опровергнул моё утверждение.

kimberlit
На сайте с 13.03.2007
Offline
370
#3

Закрыты wp-login.php, wp-register.php, feed, wp-content, wp-admin, wp-includes. Сайт не закрыт. Перевод строки перед Host не нужен. Кстати, он ваш?

Алексей Викторович
На сайте с 19.07.2007
Offline
132
#4

когда то давно пробовал вести)

А сайтики значит мои навечно вылетели? и дело не в робот.тхт?(

dica
На сайте с 02.05.2009
Offline
23
#5

Добавте Sitemap: http://www.myimho.org/sitemap.xml в robots . в корне у вас он есть.

А по теме. Закрыто только то, что и нужно закрыть

Каталог ссылок и статей автотематики (http://live-auto.ru/) Новый оконный форум (http://pkkshop.ru/forum/) Публикую статьи на тему интернет, SEO и т.д. (http://mir-live.ru/)
Алексей Викторович
На сайте с 19.07.2007
Offline
132
#6

Робот.тхт с таким текстом был не только на www.myimho.org

Как сайты можно вернуть в выдачу. За последний месяц они каждый день обновлялись, количество страниц в индексе повышалось, и вот раз и за ап вылетели. В аддрурилку по новой добавил, добавил и карты сайтов. Что еще можно сделать для возвращения в поиск?

интересно, что все вылетившие сайты на вп.

Light Phantom
На сайте с 17.03.2007
Offline
188
#7
Алексей Викторович:
и хочу что бы кто нибудь либо подвердил, либо опровергнул моё утверждение.

Опровергаем.

И у myimho.org проиндексирована главная страница.

PS: странно, что Вы держите уже 3 года несколько сайтов и задаете такие вопросы :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий