Глюк Яндекса или мой?!

12
AlexMotoR1
На сайте с 15.06.2011
Offline
73
3875

Один новый сайт длительное время (примерно месяц) не индексируется Яндексом полностью.

ПРОИСХОДИТ СЛЕДУЮЩЕЕ (глюк ли?):

Робот Яндекса заходит на главную страницу, индексирует лишь те статьи сайта, ссылки которые были на ней в момент этого захода. Через несколько дней робот возвращается на сайт и опять индексирует лишь статьи, ссылки на которые есть на главной (разумеется, новые, т.к. сайт развивается, публикуются новые статьи и старые сдвигаются вниз). Яндекс то, что раньше проиндексировал - выбрасывает из индекса.

И, поскольку на главной странице выводятся анонсы 5-и свежих статей, в индексе всегда остаются 5 статей. Старые 5 проиндексированных выкидываются, а новые 5 добавляются. И, так по кругу, раз за разом.

Сайт на CMS DataLife Engine. Соответственно, все РАЗДЕЛЫ сайта закрыты от индексации в robots.txt для того, чтобы не попадали в выдачу дубли, тэги, краткие анонсы. В индексацию согласно robots.txt и sitemap.xml должны попадать ИМЕННО все контентные страницы (статьи) и главная.

ЧПУ вида: http://***.ru/123-yandex-atstoi.html

На сайте есть карта sitemap.xml - http://***.ru/sitemap.xml - где указаны ссылки на страницы, подлежащие индексации, но, видимо - Яндекс эту карту игнорирует по непонятной причине.

Google индексирует всё и никаких проблем не вызывает. Исходя из этого, ошибок со стороны сайта нет. Контент абсолютно уникальный, добавляется почти ежедневно.

Домен регистрировал новый 2 месяца назад, сайт загружен и начал стабильно пополняться статьями уже как месяц. Есть перелинковка.

В итоге, в индексе всегда только 6 страниц! Это не АГС, т.к. ни одной предпосылки нет...

В чем может быть проблема с такой индексацией? Подскажите!

D
На сайте с 06.02.2011
Offline
12
#1

Если Вы закрыли разделы в которых находятся статьи, эти статьи тоже не будут индексироваться.

Наличие на сайте sitemap не готовит яндексу о том, что надо а что не надо индексировать.

Если Вы хотите что бы некоторые статьи из раздела индексировались пропишите их в robots.txt для индексации.

AlexMotoR1
На сайте с 15.06.2011
Offline
73
#2
Dovma:
Если Вы закрыли разделы в которых находятся статьи, эти статьи тоже не будут индексироваться.
Наличие на сайте sitemap не готовит яндексу о том, что надо а что не надо индексировать.
Если Вы хотите что бы некоторые статьи из раздела индексировались пропишите их в robots.txt для индексации.

Я закрыл разделы, а не статьи.

К примеру, раздел Disallow: /article/ - http://site.ru/article/ в себе содержит статью http://site.ru/122-privet.html В url статьи нет частицы "/article/" - соответственно статья не запрещена.

Гугл страницы хавает нормально, яндекс выплевывает.

N8
На сайте с 01.04.2011
Offline
57
#3

лучше оставьте ссылку на сайт. проще посмотреть, чем гадать

Магазин аккаунтов с балансом Litres,DNS,Ozon,Rotapost и еще 50+ других сервисов тут - vk.cc/7QK0Sk
AlexMotoR1
На сайте с 15.06.2011
Offline
73
#4
nexter83:
лучше оставьте ссылку на сайт. проще посмотреть, чем гадать

Как-то оставлял ссылку на один старый проект, так весь контент растащили 🙅

R
На сайте с 17.08.2011
Offline
11
#5
AlexMotoR1:
Как-то оставлял ссылку на один старый проект, так весь контент растащили 🙅

А, спасибо, чуть не попался. Тоже есть один сайт, контент точно уникальный, но яндекс его забанил и не хочет выводить из бана, так как сайт обновляется очень редко и не регулярно, раз 2-6 недель. Буду переводить на другой домен.

Учусь потихоньку, а надо бы побыстрей! Куба, пой, Куба, пой, Куба народ свободный твой. Redduck&FreeBSD (http://www.solo-line.ru)
AlexMotoR1
На сайте с 15.06.2011
Offline
73
#6
Redduck:
яндекс его забанил и не хочет выводить из бана, так как сайт обновляется очень редко и не регулярно

Яндекс за это не банит

O
На сайте с 02.06.2006
Offline
67
#7

Месяц - не срок для Яндекса. Он тугодум.

На Google ссылаться некорректно - он мужик простой, часто и не

такие ошибки прощает, но шустрый.

Стоит все же проверить в роботсе (хотя поисковикам это похоже

и не помеха) и на сайте, как все закрывалось. Хоть одна, по моему

мнению, но лазейка к страницам должна остаться. Либо через разделы,

либо через постраничку, иначе боту и идти будет некуда - теги закрыты,

разделы закрыты, постраничка закрыта. Как добираться до статьи.

[Удален]
#8
oldvovk:

Стоит все же проверить в роботсе (хотя поисковикам это похоже
и не помеха) и на сайте, как все закрывалось. Хоть одна, по моему
мнению, но лазейка к страницам должна остаться. Либо через разделы,
либо через постраничку, иначе боту и идти будет некуда - теги закрыты,
разделы закрыты, постраничка закрыта. Как добираться до статьи.

+1.

ТС, робот впервые заходит на сайт, видит там вашу страницу /articles/, которая закрыта от индексации, и радостно "уходит" от неё, т.к. его туда не пускают.

Робот будет индексировать все ваши статьи, если найдет на них ссылки с других страниц, которые для него открыты. Хотите, чтобы все индексировалось - разрешите в роботсе раздел /articles/, сделайте html-карту сайта, на которую поставьте ссылку с главной. Варианты есть.

Я на прошлой неделе сайт один видела тоже на DLE. На сайте почти 80 страниц, в индексе - только 6. Проблема была подобного плана как здесь описано.

На сайте есть главная, несколько статичных страниц и еще 4 страницы - рубрики каталога. С этих 4 страниц идет больше 70 ссылок на карточки товаров. И вот эти 4 страницы-рубрики корректно отображаются для пользователя, но сервер по ним отдает 404-й ответ.

В итоге робот не индексируют не их, ни карточки товаров.

[Удален]
#9

Данные по количеству проиндексированных страниц из Яндекс.Вебмастера? А сколько там загруженных роботом страниц?

K
На сайте с 24.06.2011
Offline
11
#10

Абсолютно согласен с SeoMad, если хотите чтобы индексировались статьи - откройте раздел (кстати что Вам мешает в этом разделе дублирующие анонсы закрыть в noindex?), иначе робот просто не попадет туда. Или же создавайте html карту сайта с ссылками на страницы которые вы хотите проиндексировать.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий