Не индексируется форум IPB

S
На сайте с 03.11.2006
Offline
111
1514

Приветствую всех форумчан!

Вообщем перенес свой форум на новый движек IPB. С тех пор прошло уже больше двух месяцев, но Яндекс не желает его индексировать. В индексе только главная страница и еще 3 которые я добавлял вручную. Писал Платону, в ответ получал одни отписки типа "подождите все будет нормально" и.т.д.)

Для ускорения индексации были приняты следующие меры:

- Была создана карта сайта и добавлена, через webmaster.yandex.ru

- прописан файл robots.txt

- так же заказывал услугу добавления страниц в яндекс webmaster.yandex.ru

А воз и ныне там:) Почему яндекс упорно не хочет индексировать - для меня загадка.

CryptoReader.Ru агрегатор новостей о криптовалютах (http://cryptoreader.ru)
d&d
На сайте с 07.12.2006
Offline
56
d&d
#1

Ну так действительно, может подождать…

Ко всему прочему, по моему мнению, стоит оптимизировать форум через файл robots, запретив по маске индексацию одинаковых страниц (но у которых адреса разные).

Ко всему прочему, ссылочек подкупите на главную и основные разделы форума.

S
На сайте с 03.11.2006
Offline
111
#2

Роботс как раз прописан и ссылок на главную много. Я смотрю логи. бот яндекса каждый день заходит, но дальше главной страницы не идет.

maximus200
На сайте с 08.09.2004
Offline
185
#3
Sarji:
Роботс как раз прописан и ссылок на главную много. Я смотрю логи. бот яндекса каждый день заходит, но дальше главной страницы не идет.

Возможно неправильно прописан или что-то мешает ему идти вглубъ сайта, проверте свой роботс по яндексу.

kimberlit
На сайте с 13.03.2007
Offline
370
#4

Если форум, который в подписи, то там robots кривой. Но причина в чём-то другом.

S
На сайте с 03.11.2006
Offline
111
#5

Да, вы правы. Форум тот который в подписи. А в чем кривизна роботса? Вроде как все правильно.

Проверил роботс по яндексу. Все в норме.

itmgk
На сайте с 08.11.2007
Offline
105
#6

роботс кривущий...

Карты (по крайней мере, по типичным линкам) не ощущается...

itmgk добавил 08.07.2009 в 09:22

зачем в роботсе строка

Disallow: /*&showtopic

?

сделайте редирект с www на без www (или обратно)

d&d
На сайте с 07.12.2006
Offline
56
d&d
#7

1. Host строка прописывается после всех disallow (иначе, этот роботс только для яндекса, для других ПС он ошибочный).

2. Как робот зайдет в тему, если адрес подфорума http://ваш адрес/index.php?s=bb7b6251910e88679d656a147efa268b&showforum=302

запрещен в роботс: Disallow: /index.php?s= ? Сами же запретили вход

S
На сайте с 03.11.2006
Offline
111
#8

Спасибо за советы.

d&d второй пункт очень заинтересовал. Убрал Disallow: /index.php?s=

Хотя думаю не совсем в этом дело. Ведь гугл проиндексировал его без проблем.

Disallow: /*&showtopic - убрал.

Вот все пишут, что роботс кривой. Укажите, что там криво? Кроме тех двух замечаний.

Так же нашел интересную статью по этой теме. Особенно заинтересовал первый пункт. Судя по всему - мой случай.

P.S. Сейчас еще попробовал добавить в Блоги Яндекса.

d&d
На сайте с 07.12.2006
Offline
56
d&d
#9

Кривизна вашего робота была в том, что строка host была первая, а ее понимает только Яндекс. Соотв. гугл вообще роботс не читал по причине ошибки в первой строке. В этом можете убедиться, просмотрев страницы в гугле, где он проиндексировал все ваши запрещенные директивы.

Мой роботс для форума IPB (v2.3.6) выглядит так:

User-agent: *

Disallow: /forum/admin/

Disallow: /forum/install/

Disallow: /forum/interface/

Disallow: /forum/ips_kernel/

Disallow: /forum/jscripts/

Disallow: /forum/modules/

Disallow: /forum/resources/

Disallow: /forum/retail/

Disallow: /forum/skin_acp/

Disallow: /forum/style_avatars/

Disallow: /forum/style_captcha/

Disallow: /forum/style_images/

Disallow: /forum/style_emoticons/

Disallow: /forum/upgrade/

Disallow: /forum/uploads/

Disallow: /forum/lofiversion/

Disallow: /forum/admin.php

Disallow: /forum/conf_global.php

Disallow: /forum/init.php

Disallow: /forum/index.php?act=*

Disallow: /forum/index.php?showuser=*

Disallow: /forum/index.php?CODE*

Disallow: /forum/*mode=

Disallow: /forum/*pid=

Disallow: /forum/*view=

Disallow: /forum/*st=0

Clean-param: s /forum/index.php

Host: www.мой_сайт.ru

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий