Молодой сайт не хочет индексироваться в Яндексе (SOS)

12 3
J
На сайте с 06.04.2011
Offline
82
1950

Здравствуйте.

Подскажите, пожалуйста, советом, может вы уже сталкивались с подобным...

Примерно 3 месяца тому назад был размещен сайт в Интернете, страниц было около 40 изначально. Сайт статический, не на движке, дизайн и код все делалось вручную. Проект регулярно обновлялся, 1 страница в день или через день, на сегодняшний день на сайте более 90 стр. Текст на сайте полностью уникальный, в каждой статье своя картинка.

В первый раз в индекс Яндекса, я помню, вошло 18 страниц, затем еще примерно через две недели 76 страниц. Но потом я допустил оплошность, запретил (сам того не подозревая) в файле robots.txt все страницы к индексированию. Через какое-то время в Я.Вебмастере пришло сообщение. что главная страница исключена из индекса, так как она запрещена в роботс-е. Я ошибку исправил, но прошло уже более 2 недель, а в индексе Яши кроме главной страницы ничего нет. Запросы робота в Вебмастере идут, причем их довольно много, на других своих сайтах никогда ничего подобного не видел. В Гугле все восстановилось, все страницы в индексе. На сайт только одна бека по Вебмастеру, с другого моего сайта по теме.

Вообщем-то, вопрос такой:

Из-за чего это может происходить? может фильтр какой-нибудь или надо еще немножко подождать? И, скажем, если сайт под фильтром, то запросы робота к таким сайтам могут ли идти еще?

Jaf4
На сайте с 03.08.2009
Offline
804
#1
Jigo:

Из-за чего это может происходить?

Был запрет, у бота не было возможности собрать данные для анализа и участия в выдаче. Или это типа риторический вопрос?


может фильтр какой-нибудь или надо еще немножко подождать?

Жди конечно. Обычно после того, как разрешил боту Яндекса полазить, пройдет примерно пару-тройку недель до момента, как сайт появится в выдаче, но может быть и больше (а может быть и меньше). Если есть возможность - посмотри логи сервера, когда у тебя боты были в последний раз и где полазили.


И, скажем, если сайт под фильтром, то запросы робота к таким сайтам могут ли идти еще?

Еще рано дергаться, если там не за что фильтровать - все ок. Просто работай с сайтом дальше.

New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)
J
На сайте с 06.04.2011
Offline
82
#2

А как логи смотреть, это с помощью какой-то программы делается, сайт на Джино. Заранее спс, Jaf4. Пойду разбираться тогда.

Jaf4
На сайте с 03.08.2009
Offline
804
#3
Jigo:
сайт на Джино.

На джино не знаю, наверное никак.

no_fumar
На сайте с 09.01.2008
Offline
103
#4
Jaf4:
На джино не знаю, наверное никак.

На джино можно подключить расширенную статистику

http://www.jino.ru/services/description/statistics.html

при подключении этой услуги в лог-файлы, ведущиеся на вашем аккаунте, начинает добавляться более подробная информация: в частности, информация о реферерах (страницах, откуда посетители приходят на ваш сайт) и пользовательских агентах (браузерах или роботах).
✔ Рекомендую: хостинг для WordPress (http://goo.gl/sYM0Ee)
ProstoNik
На сайте с 15.02.2012
Offline
5
#5

ТС, не суетись.

у меня новый сайт не хотел индексироваться, и я решил на нем поиграться с новыми движками, в роботе запретил индексацию всеми поисковиками.

неделю поигрался, потом восстановил сайт и исправил роботс. после этого где то через неделю пришло сообщение что сайт выпал из индексации, 3 апа без движения на 4 ап вошло 35 страниц.

так что просто ждите.

I
На сайте с 30.10.2011
Offline
15
#6
Jigo:

Я ошибку исправил, но прошло уже более 2 недель, а в индексе Яши кроме главной страницы ничего нет.

Вот тут содержится ответ:

Jigo:

Вообщем-то, вопрос такой:
Из-за чего это может происходить? может фильтр какой-нибудь или надо еще немножко подождать?

Была такая же ситуация как у тебя. Поставил в robots.txt запрет на индексацию сайта.

После того как снял запрет в Robots - только недели через 3, кажется, сайт вошел в индекс Яндекса.

Что делал:

1) Просто ждал

2) + на всякий случай купил несколько ссылок на сайтах СМИ (они быстро индексируются)

J
На сайте с 06.04.2011
Offline
82
#7
no_fumar:
На джино можно подключить расширенную статистику
http://www.jino.ru/services/description/statistics.html

Да, точно. Чтобы узнать, кто посещал страницы (роботы или пользователи), нужно подключать расширенную статистику, так как по обычной статистике этого не видно (нету записи "yandex-bot" или что-то подобного, только IP-адрес, время и сама страница).

J
На сайте с 06.04.2011
Offline
82
#8

Спасибо за советы, тогда буду ждать просто, плюс куплю одну-две нормальные ссылки с новостного сайта. Также добавил файл sitemap.xml, но в Я.Вебмастере пока нету данных что он проверен (добавлен 26.02.2012). Кстати, страницы выпали из индекса Яши также 26 февраля.

В Я.Вебмастере если смотреть "дату последнего посещения сайта роботом", то выдает 7.03.2012 (а было еще 1.03.2012, 5.03.2012 и вот сегодня опять поменялось на 7.03.2012).

Если смотреть в ЯВ вкладку "индексирование сайта" > "история индексирования" > "количество запросов", то там много запросов, прикрепляю картинку: [ATTACH]105275[/ATTACH]. Похоже, Яндекс что-то загружает/проверяет или что-то подобное... главное, чтоб фильтра не было никакого, а так хоть месяц подожду.

В Гугле кстати все страницы уже в индексе, в основном индексе показывает 22%, вчера было 18%, тут хоть есть какое-то поступательное движение и не надо ждать месяцы.

jpg Zaprosy-robota.jpg
J
На сайте с 06.04.2011
Offline
82
#9
instigatorseo:
Вот тут содержится ответ:

Что вы хотели мне показать, где тут?! я не понял...

Jaf4
На сайте с 03.08.2009
Offline
804
#10
no_fumar:
На джино можно подключить расширенную статистику
http://www.jino.ru/services/description/statistics.html

мне оно не нужно.. это для тс может быть полезно :)

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий