Чтобы индексировало большое количество сраниц, нужен уникальный контент на этих страницах, или хотя бы на несколько процентов отличающийся. Текста должно быть больше килобайта.
Отличается, и часто сильно.
Сервер должен давать маленький пинг в момент захода бота.
ну на это вроде не жалуюсь - хостится у неплохого провайдера.
На сайт должно стоять много ссылок с разных IP, чем больше стран (гео IP), тем важнее кажется ваш сайт. PageRank ссылающихся страниц должен быть не 0.
С этим хуже - в основном ссылки с русскоязычных сайтов. Но немало.
При большом количестве страниц на сайте может произойти сразу индексация скажем до 20 000 страниц, а потом откат до 100 страниц или же даже БАН за большое количество похожих страниц.
Все это проверено неоднократно.
Как я уже сказал выше страницы не похожи. Это форум. Причем уникальность существует не только на уровне контекста страницы - уникальны и кейворды с дескрипшионами (есть зависимость от текста сообщений).
Да нет, бот то проходит по страницам. А в индекс они почему-то не попадают. А количество страниц на гугле в течении дня меняется в указанных мной пределах (7500-8500)
Чтобы индексировало большое количество сраниц, нужен уникальный контент на этих страницах, или хотя бы на несколько процентов отличающийся. Текста должно быть больше килобайта.
Отличается, и часто сильно.
Сервер должен давать маленький пинг в момент захода бота.
ну на это вроде не жалуюсь - хостится у неплохого провайдера.
На сайт должно стоять много ссылок с разных IP, чем больше стран (гео IP), тем важнее кажется ваш сайт. PageRank ссылающихся страниц должен быть не 0.
С этим хуже - в основном ссылки с русскоязычных сайтов. Но немало.
При большом количестве страниц на сайте может произойти сразу индексация скажем до 20 000 страниц, а потом откат до 100 страниц или же даже БАН за большое количество похожих страниц.
Все это проверено неоднократно.
Как я уже сказал выше страницы не похожи. Это форум. Причем уникальность существует не только на уровне контекста страницы - уникальны и кейворды с дескрипшионами (есть зависимость от текста сообщений).
2 SilverMaster
Да нет, бот то проходит по страницам. А в индекс они почему-то не попадают. А количество страниц на гугле в течении дня меняется в указанных мной пределах (7500-8500)
Структурно сейчас любая значимая страница доступна максимум за 3 клика. Раньше было не особо хуже.