Выпадение из индекса 97% страниц (нетипичный случай)

albega
На сайте с 26.02.2009
Offline
54
5785

С АГС-ами, баном и прочим до этого не сталкивался, поскольку проекты все белые.

В последний АП от 1 числа выкосило 97% страниц, логика непонятна.

Есть сайт site.ru, основной его контент - форум на переделанном движке phpbb3, при этом форум расположен в корне. От индексации закрыты дубли страниц (viewprint и т.д.), профили и прочий мусор.

Также есть разделы site.ru/category, в которых размещены сервисы, либо просто статьи. Хедер, футер, меню и прочее - такие же, как на внутренних страницах форума.

Количество проиндексированных страниц обычно составляет 40 тыс. (97% - страницы форума), иногда падает до 8 тысяч, раз в несколько апов и возвращается обратно. Почему так - не разбирался, поскольку на трафик это нисколько не влияло.

Утром 1 числа из индекса пропали все страницы форума (viewtopic и viewforum), остались единицы. Соотв., кол-во переходов с Яндекса упало с 6 тыс. до 600, сейчас переходы только на главную и страницы разделов site.ru/category.

При этом страницы разделов абсолютно все в индексе, 100%, их несколько сотен.

Плюс еще в индексе остались страницы типа site.ru/download/file.php?id=850, документы, которые прикреплялись юзерами движком форума. Их тоже нисколько не затронуло.

robots.txt не трогали уже несколько месяцев. С хостером тоже проблем быть не может, т.к. определенные группы страниц индексируются без проблем.

Написал Платону Щукину вчера утром, ответа пока нет.

Форум посещаемый и живой, на 1 уника 5 просмотров, в день несколько сотен новых сообщений.

Итого, половины трафика как не бывало. Такая проблема встретилась впервые.

Вопрос: что делать?

СМИ/Образование. Крутые СДЛ со светлым будущим. Размещение статей (/ru/forum/671055), ссылки "навсегда" (/ru/forum/671056). Визитка (http://repetitor.pro), блог (http://repetitor.pro/blog).
S
На сайте с 03.04.2009
Offline
164
#1

Пипец. Ничего тут не посоветуешь. Единственное на че наедятся на глюк. Благо, видно что почти с каждым сайтом такое. И даже с теми сайтами у которые вылет страниц никогда не был замечен

seomunch
На сайте с 21.11.2008
Offline
60
#2

Похожая ситуация. Осталась главная, раздел. Контент уник...через адурилку страницы добавляются...глюк?

Банк времени (http://bank-vremeni.ru) - обменивайся своими возможностями с другими
N
На сайте с 08.08.2006
Offline
133
#3

Да-да, не у одного у Вас трафф упал. Ясное дело, что траф свалился из-за вылета страниц.

Ну так найдите причину. :) Наверно Яшка что-то фильтранул в очередной раз. Ищите проблему в сайте.

Аналитик
LovelAss
На сайте с 05.06.2009
Offline
96
#4

У меня проблема один в один, на одном сайте вылетели все страницы, за исключением главной и категорий. ТС, вы как ответ получите, отпишитесь пожалуйста в теме.

N
На сайте с 08.08.2006
Offline
133
#5

Ответ из серии: Наши алгоритмы посчитали, что часть страниц сайта сгенерированны

автоматически и не имеют ценности для пользователя. Вы это чтоль хотите увидеть?

albega
На сайте с 26.02.2009
Offline
54
#6
LovelAss:
У меня проблема один в один, на одном сайте вылетели все страницы, за исключением главной и категорий. ТС, вы как ответ получите, отпишитесь пожалуйста в теме.

Сорри, в первом посте не совсем точно сформулировал, поправка:

Твердо сидят в индексе и категории, и контент в этих категориях, т.е.

/category/statya.php

Там находятся разные статьи, тулзы и прочее.

Таких страниц несколько сотен, абсолютно все в индексе.

Непонятно по какому принципу так аккуратно выпали страницы форума, а все остальное в норме.

Я уж думал, может в движке (админке) форума бота Яндекса забанили случайно. Но нет, Яндекс ходит по форуму.

Абсолютно непонятная проблема.

albega добавил 02.12.2010 в 13:28

Nicola:
Ответ из серии: Наши алгоритмы посчитали, что часть страниц сайта сгенерированны
автоматически и не имеют ценности для пользователя. Вы это чтоль хотите увидеть?

Писал в первом посте:


Форум посещаемый и живой, на 1 уника 5 просмотров, в день несколько сотен новых сообщений.

95%+ посетителей сайта - посетители форума. Форум по сути и есть сайт.

Контент конечно не генерирован.

N
На сайте с 08.08.2006
Offline
133
#7
albega:

albega добавил 02.12.2010 в 13:28
Писал в первом посте:
95%+ посетителей сайта - посетители форума. Форум по сути и есть сайт.
Контент конечно не генерирован.

Ну ждите. :) У меня тоже 90% посетителей целевые. Но мы сейчас не про них говорим, а про сам сайт.

[Удален]
#8

Да это типичный АГС, почитайте соседние темы, у всех симптомы точь-в-точь с вашими.

albega:
Написал Платону Щукину вчера утром, ответа пока нет.

А вот это плохо. Обычно, если ничего серьёзного, они отвечают сразу, в тот-же день. Могу поспорить что ответ будет начинаться примерно так:

После анализа и классификации страниц Вашего сайта (форума) наши алгоритмы приняли
решение не включать его в поиск бла-бла-бла...

Что-то эта коса не на шутку разошлась - за неделю с десяток подобных тем. ИМХО, пусть или алгоритм свой усовершенствуют, или хоть возвращают по письму, это же ненормально когда в выдаче доры, а старые нормальные сайты - в ж*пе. :(

impossible
На сайте с 12.01.2008
Offline
224
#9

Согласен полностью, последний месяц АГС начал косить нормальные сайты. Именно нормальные. Ответы Платонов как всегда - "наши алгоритмы... развивайте сайт".

Ждать несколько месяцев не представляется возможным, т.к. мы теряем клиентов, которые шли по НЧ на внутренние страницы.

Кто что может предложить? НЧ не сложные, в топ можно попасть за 2-3 АПа.

Если я перенесу сайт на новый домен, а старый закрою от индексации или сделаю 301 редирект, фильтр АГС не перетекет ли на новый домен?

albega
На сайте с 26.02.2009
Offline
54
#10
Nicola:
Ну ждите. :) У меня тоже 90% посетителей целевые. Но мы сейчас не про них говорим, а про сам сайт.

Вы первый пост читали?

Это форум, наиболее информативный, посещаемый и живой в своей тематике. Тематика состоит из одного слова, запросов по вордстату 1 млн. в месяц.

Больше 20 тыс. зарегистрированных юзеров, в сутки несколько сотен новых информативных сообщений.

Никаких бирж и прочее никогда не было.

Выпали все страницы viewforum и viewtopic, т.е. страницы движка форума (остальные стандартные страницы давно были закрыты в robots.txt). То, что сбоку движка присобачили, в виде site.ru/category и site.ru/category/statya.php, использовав хедер, футер и меню стандартных страниц форума - в индексе 100%. Таких несколько сотен страниц. И главная осталась (форум в корне, т.е. главная форума и есть главная страница сайта), правда от типовой главной страницы форума там абсолютно ничего не осталось, кастомизировано.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий