Документ запрещен в файле robots.txt. Wordpress

12
[Удален]
998

Здравствуйте. Расскажу проблему подробнее:

Создал 10 сателлитов на уникальном контента с уникализированным дизайном. Зарегистрировал домены, поставил сайты. Прогнал по соц. закладкам для ускорения индексации. Сайты по-тихоньку вошли в индекс поисковиков.

Но сегодня с утра обнаружил, что у 9 из 10 сателлитов осталось по 1 странице в индексе. Был просто шокирован. Зайдя в панель вебмастера увидел такую картину:

Документ запрещен в файле robots.txt

Мол типа, я запретил индексацию всех страниц и индексируется только главная. Хотя я даже не создавал файл robots.txt и на хостинге в папках доменов у меня их нет.

Перед этим апом ставил генератор карты сайта Google XML map. В админке WP в настройках приватности индексация разрешена. Файла .htacess Также нет. Что странное 1 сателлит все таки остался в индексе. Хотя я делал все для всех одно и то же...

Что может быть? Подскажите плиз? Может кто-то сталкивался уже с таким.

И если все же создать robots.txt. И запретить там на некоторые страницы индексацию, нормализуется ли все?

За ранее спасибо за ответы!

Speaker19
На сайте с 20.12.2010
Offline
224
#1

Создайте файлы robots.txt для сайтов, в которых разрешите индексацию сайта, закройте ненужные страницы и посмотрите что получится!

Дешевая и эффективная реклама ВКонтакте: сообщества, рекламные посты, аналитика. (http://adspoiler.com/r/16336752) Имеются свободные рекламные места в соц. сетях? (http://partner.apishops.com/soc.htm)
Toan
На сайте с 06.08.2008
Offline
214
#2

Сбой видимо на стороне Яндекса. Попробуйте ничего не предпринимать и подождать пару апов, если в индекс не вернутся, то писать Платонам. Хотя смотря еще что за сайты, могли и сами попасть под санкции.

Простейший способ сбора НК ключей (http://mutagen.ru/?r=55527), дающих трафик. Всего 30 рублей за 100 шт. А также автоматическая группировка (http://semparser.ru/p/1506) запросов по страницам для эффективного продвижения + экономия на текстах.
Speaker19
На сайте с 20.12.2010
Offline
224
#3
Toan:
Сбой видимо на стороне Яндекса.

Возможно действительно сбой. У одного пользователя в сегодняшнем соседнем топике, например пишет, что страница закрыта от индексации мета тегом, хотя на странице тега нет!

[Удален]
#4

Toan, а когда на сайт санкции накладываются. В вебмастере пишет что индексация запрещена потому что так указано в файле роботс.тхт. Как то не логично получается. Я просто не сталкивался с сайтами с санкциями и не видел что пишет в вебмастере чша для них.

K
На сайте с 31.01.2001
Offline
737
#5
Моряк_вмф:
Что может быть? Подскажите плиз?

Вы лучше сайт покажите, не тратьте попусту свое и чужое время.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
[Удален]
#6

Не вопрос, вот один из таких сайтов: voenmed.net

vitvirtual
На сайте с 18.10.2007
Offline
248
#7
Моряк_вмф:
Не вопрос, вот один из таких сайтов: voenmed.net

Ну и надолго таких сайтов должно хватать? Еще больше меток создайте, дольше будут держаться в индексе. Кстати, Гугл к таким сайтам более лояльно относится, чем Яндекс, проиндексировано более 500 страниц. Впрочем трафика много все равно не ждите, потому что пользователям такой контент не нужен.

www.King-Servers.com - Dedicated Servers от 65$, VDS от 25$ / VPN - Open, Pptp, Double. Http proxy - http://secretsline.biz
[Удален]
#8

vitvirtual, вопрос по-моему стоит в другом. Мне и не нужна посещаемость на это сайте :) это сапо сателлит.

[Удален]
#9

че т просто ожидание не помогает. Все также. Кто какое решение может предложить?

K
На сайте с 31.01.2001
Offline
737
#10

А при чем тут robots.txt, которого нет?

Моряк_вмф, вы про АГС слыхали? Почитайте.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий