Индексирование форума и правильная подача страниц ботам

V
На сайте с 28.10.2015
Offline
53
516

Приветствую, гуру! Назрели некоторые вопросы.

1. Есть форум, ссылки обычные, не СЕО, типа: showthread.php , forumdisplay.php и т.д.

Очень долгое время основные страницы форума были закрыты от индексирования, а для ботов был обычный архив, который находился по ссылке /arhiv , и имел сео-урлы.

Какое-то время назад я решил, что лучше иметь приходы людей на живой форум, чем архив, и снял запрет на индексирование основного форума, архив также оставался.

Потихоньку начали выползать в выдачу страницы основного форума , но и присутствовали архивные. Чтобы контент не задвоился я относительно недавно внес запрет на индексацию роботами архива по ссылке /arhiv.

Через некоторое время я заметил резкое падение трафика с Яши. Посмотрел статистику в веб-мастер - индексирование - загруженных страниц почти 3.000.000. В общей информации указано, что почти 700000 страниц находится в поиске. Если посмотреть на Яше, то он находит 130000 результатов. Архивных страниц нет вообще.

На что сейчас стоит обратить внимание, и когда все 3 млн страниц обратно возвратятся на место? :)

2. Многостраничные разделы и темы. У меня сейчас боты индексируют все содержимое форума, переходя по всем внутренним ссылкам. Соответственно если в разделе множество страниц, то в поиске выдается некоторый мусор, типа /forumdisplay.php?f=111&order=desc&page=2 &page=3 &page=4 и т.д.. Тоже самое и с темами: /showthread.php?t=111111&page=2 &page=3 &page=4. В данном случае название раздела или темы является одинаковым, лишь только контент (сообщения) на этих страницах разный.

Как быть с этим множеством страниц? Ведь сообщения на всех страницах разные, и он индексируется поисковиками. Оставить, как есть? Или нужно сделать какой-то запрет на эти страницы в роботс.тхт? Но тогда получается, что боты проиндексируют только первую страницу темы, откуда бот возьмет заголовок темы, и возможно текст (сообщения), которые будут на этой странице.

AS
На сайте с 01.07.2003
Offline
135
#1

В такой ситуации надо указать канонические урлы https://support.google.com/webmasters/answer/139066?hl=ru

V
На сайте с 28.10.2015
Offline
53
#2

Хорошо, с этим немного стало яснее.

А с индексацией и выпавшими страницами можете что-то подсказать? Это временной явление, или что-то нужно предпринять?

AS
На сайте с 01.07.2003
Offline
135
#3

Страницы вернутся в индекс со временем, но уже дублей не будет.

V
На сайте с 28.10.2015
Offline
53
#4

Дублей, это когда был архив? Их уже и сейчас нет. В вебмастере показано, что по этой ссылке загружено 700000 страниц, в выдаче - 0.

Кстати, интересно. В Site-auditor 2.62 Яндекс показывает 205000 страниц. На сайте Яндекса - 119000. В новом Site-auditor 3.0.15 - 0 страниц.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий