В яндексе найдется не все

1 2345 6
SmileP
На сайте с 18.02.2010
Offline
386
#31
awasome:
Я не замечал никакой разницы по индексации

304 может быть актуален, когда краулинговый бюджет большого сайта не большой и робот просто "не доходит" до непроиндексированных страниц, а не когда робот считает, что страница бесполезна и не будем её добавлять в индекс.

Размеры больших сайтов измеряются десятками тысяч страниц, а не 10..20.

A
На сайте с 20.08.2010
Offline
775
#32
SmileP:
304 может быть актуален, когда краулинговый бюджет большого сайта не большой и робот просто "не доходит" до непроиндексированных страниц, а не когда робот считает, что страница бесполезна и не будем её добавлять в индекс.
Размеры больших сайтов измеряются десятками тысяч страниц, а не 10..20.

Разницы нет. Не в 304 дело, дело в другом.

102
На сайте с 10.11.2008
Offline
53
102
#33

В яндекс.вебмастере четко написано, что бот обошел и обходит регулярно ВСЕ страницы на сайте, а в индекс попадает малая часть. Так что не в 304 дело и не в лимитах краулера.

K
На сайте с 04.03.2014
Offline
38
#34

В серверных логах вижу, что робот яндекса 4 раза подряд с интервалом 2-3 секунды берёт главную страницу. Есть этому объяснение?

L
На сайте с 07.12.2007
Offline
351
#35
102:
Ни у кого нет опыта индексации больше 1000 страниц за первый год?

Есть. Сайту за 8 месяцев, 3600 страниц из 138 000(по Google). Доменная зона .com, ТИЦ 20 PR 2.

Коды 304/200 отдаёт корректно, дело 100% не в них.

Все 138 000 страниц есть в индексе Яндекса(и в сохранённой копии), только Яндекс их не показывает в панели ВМ как проиндексированные, и они исключены из поиска.

Сохранённую копию таких "исключённых" страниц тоже просто так не посмотришь, тк Яндекс её "типа" закрыл хэшем (но включив мозг - можно и посмотреть).

PS: Просьба к имеющим проблему плохой индексации - давайте хотя бы минимальную информацию о сайте - ТИЦ/PR, возраст, доменную зону, количество страниц в Яндексе и Google. Тогда будет хоть какая-то почва для размышлений.

102
На сайте с 10.11.2008
Offline
53
102
#36
Есть. Сайту за 8 месяцев, 3600 страниц из 138 000...

...только Яндекс их не показывает в панели ВМ как проиндексированные, и они исключены из поиска.

Это я называю страницы не в индексе (не в поисковом во всяком случае).

Что касается моего сайта - тиц 90, PR1, старт 07.2013, гугл -35 000 страниц в индексе, 2500 в основном индексе. В яндексе всего 700-800 страниц.

---------- Post added 16-03-2014 at 01:28 ----------

Новый ответ платонов из продолжающейся переписки:

К сожалению, предоставить более детальное описание сложившейся ситуации или предложить Вам конкретные шаги, проделав которые, все страницы сайта точно появятся в поиске, мы не можем - у нас просто нет такой информации. Примеры отсутствующих в поиске страниц, которые Вы нам ранее присылали, были переданы специалистам для анализа, и они обязательно будут учтены при коррекции алгоритмов. Однако, к сожалению, не можем гарантировать, что в один момент все страницы ресурса окажутся в поиске.
L
На сайте с 07.12.2007
Offline
351
#37
102:
Это я называю страницы не в индексе (не в поисковом во всяком случае).

С лёгкой руки pro-maker-a это называется это неопубликованной частью индекса. Его можно было посмотреть(см каммент Сергея Людкевича по ссылке выше), пока Яндекс закрыл показ сохранёнки в феврале 2011.

(вопрос на засыпку - зачем Яндексу надо было закрывать показ сохранёнки?)

То, что все эти страницы находятся в поисковом индексе - легко проверить, но технологию палить не буду.

Страницы просто тупо фильтруются при формировании выдачи и при показе проиндексированных страниц.

PS: Пока только не пойму - это отдельный фильтр типа supplemental results, или вариация АГС. Эксперимент на эту тему поставлен, но результатов ещё нет.

102, а доменная зона какая, .RU?

102
На сайте с 10.11.2008
Offline
53
102
#38
То, что все эти страницы находятся в поисковом индексе - легко проверить, но технологию палить не буду.

Какая разница, если эти страницы полностью не участвуют в поиске.

Домен ru.

qilly
На сайте с 28.03.2008
Offline
406
#39

Сайту 1,5 года. Зона .ru

Google - 160 000

Yandex - 9 000

Платоны морозятся ответами про алгоритмы итд. Похожие по структуре сайты-конкуренты, но более старые индексируются нормально.

SmileP
На сайте с 18.02.2010
Offline
386
#40
Ladycharm:
ТИЦ/PR, возраст, доменную зону, количество страниц в Яндексе и Google

Еще бы и тип, тематику сайта и что не лезет в индекс.

Из интервью с Чекушином:

http://geoseo.by/intervyu-kak-optimizirovalsya-internet-magazin-wikimart-ru

Оказалось, что от объема уникальности контента это не сильно зависит. Страницы даже с контентом от 1000 символов могли не попасть в индекс, и вероятность попадания составляла изначально около 40%.
Оказалось, что нужно просто сделать так, чтобы Яндекс понимал, что 1) эта страница — это страница карточки товара 2) что этот товар можно купить на сайте.
То есть, когда происходит текстовый апдейт в Яндексе, мы пробиваем индексацию всех страниц и делаем сравнение индексов — какие страницы попали в индекс, какие выпали, какие остались, какие были посещены и не попали в индекс. Исходя из этого строятся различные срезы, которые позволили нам найти решение, как загонять такие страницы в индекс.
1 2345 6

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий