Проблема с форумом (требуется мед.помощь)

12
[Удален]
1329

Решил создать отдельную тему о своей проблеме...

Имеем сайт-форум: http://yarportal.ru

Мод-рерайт: html-странички везде

robots.txt такой...

User-agent: *

Disallow: /index.php

Disallow: /index.html

Disallow: /?

Host: yarportal.ru

Проблема: 50000 страниц ушли из индекса в конце октября.

Ныне имеем в индексе около 44 страниц.

http://www.yandex.ru/yandsearch?&p=6&serverurl=yarportal.ru

цифра, бывало, колебалась...

Сервис "мои сайты".

Общая информация

Дата последнего обращения робота к сайту: 17 ноября 2007, 08:10

Число загруженных страниц: 279519

ошибка

HTTP-статус: Ресурс временно перемещён (302) 83746

там все в таком духе:

Дата первого посещения Дата последнего посещения

/topic100.html?view=new 17.07.2007 9.11.2007

/topic100.html?view=old 17.07.2007 9.11.2007

/topic10002.html?view=getlastpost 9.08.2007 18.10.2007

/topic10005.html?view=getlastpost 16.08.2007 13.11.2007

/topic10007.html?view=new 12.08.2007 16.11.2007

/topic10007.html?view=old 12.08.2007 16.11.2007

/topic10009.html?view=getlastpost 8.08.2007 17.11.2007

/topic10012.html?view=new 15.08.2007 10.10.2007

/topic10012.html?view=old 15.08.2007 10.10.2007

/topic10017.html?view=new 15.08.2007 21.10.2007

/topic10017.html?view=old 15.08.2007 21.10.2007

/topic10023.html?view=getnewpost 3.07.2007 17.10.2007

/topic10023.html?view=new 3.07.2007 10.10.2007

/topic10023.html?view=old 3.07.2007 10.10.2007

/topic10025.html?view=getlastpost 7.08.2007 18.10.2007

Документ запрещен в файле robots.txt 119241

примерно все так выглядит.....

Дата первого посещения Дата последнего посещения

/?s=2011f7b85428d218...Print&client=choose&f=16&t=2657 19.06.2007

/?s=2a9f640bde7fae9d...8ab8d7e4b00a106e&showtopic=3353 24.09.2007

/?s=40b6d3876aa689a6...1776ba&showtopic=4851&st=90&hl= 2.04.2007

/?showforum=9 13.11.2006

/?s=5333108364d29d0d...1282f97f9825438f&showtopic=5948 27.02.2007

/?s=641b38ef5557cbfc...7db15ffd3d688&act=ST&f=4&t=5664 30.03.2007

/?s=80a853a54c50891d...76f4a4477e&showtopic=4851&st=90 2.04.2007

/?s=85acce8bb4dc6b20...bb49ba267e57d060&showtopic=5328 28.02.2007

/?s=8f8ad0c111001442...Print&client=choose&f=26&t=1955 9.03.2007

Структура сайта

Имя Загружено страниц Доля (%)

yarportal.ru/ 279519 100,0

index.html? 119021 42,5

- CODE=00& 6812 2,4

--act=Forward& 25986 9,2

--act=Print& 51972 18,5

---act=Track& 26078 9,3

----f=26& 2919 1,0

Стуктуру сайта не понял...

index.hmtl у меня в роботсе вообще запрещено к индексированию....

-------------

Есть какие-нибудь мысли по лечению пациента?

Платон в первый раз ответил... "разберемся"...

второй раз.... что "найдены страницы, на которых установлены ссылки на ресурсы, раскручиваемые с помощью ссылочного спама"... ничем таким не балуюсь...

Можно ли доверять Платону? действительно так и есть? или возможен какой-то глюк?

jonic
На сайте с 24.04.2006
Offline
72
#1

Думал над этой проблемой, чесно раньше не сталкивался, я бы писал письма Платону...

Новостишки и телепрограмма Ярославля (http://gtk.yar.ru) | Туристический портал Ярославля (http://www.yar.ru) |заработай на сапе (http://www.sape.ru/r.32ee50e20f.php) -------
[Удален]
#2

Вот как яндекс понять?

http://www.yandex.ru/yandsearch?&p=7&text=%D1%8F%D1%80%D0%BF%D0%BE%D1%80%D1%82%D0%B0%D0%BB&pag=u&surl=yarportal.ru&

все как положено....

Результат поиска: страниц — 50 714

Область поиска: сайт — yarportal.ru

а нормальным запросов если проверить

http://www.yandex.ru/yandsearch?&p=4&serverurl=yarportal.ru

Результат поиска: страниц — 44

Область поиска: сайт — yarportal.ru

Причем трафик с яндекса идет блин на эти 44 страницы всего лишь, а не на 50000 ))

A
На сайте с 10.01.2005
Offline
106
#3

У меня, кстати сказать, тоже выпал специализированный форум с уникальным контентом - это реальный форум, в котором люди пишут. Вчера в общем индексе сайта было 30000 страниц, а сегодня - 9000. Пока траф не упал, но складывается впечатление, что Я теперь форумы будет дозированно вводить в индекс.

Сайты для людей - не выдумка, а быль. Если считать архитекторов и дизайнеров людьми:)Целевая реклама для целевой группы.
П
На сайте с 24.02.2007
Offline
12
#4

А что за форумы у вас? Какие движки? Просто надо выяснить, каким образом бот яндекса отличает форум от сайта, и маскировать форум под сайт.

A
На сайте с 10.01.2005
Offline
106
#5

Псих, спасибо:), но я это понимаю, просто движок старинный уникальный на перле -легче новый форум завести... Хотя жаль(:

П
На сайте с 24.02.2007
Offline
12
#6
уникальный на перле

Если он уникальный, то как же яндекс узнал что это форум? Есть какие-нибудь соображения/догадки? Я думаю, что он определяет, что это форум по ключевым словам в адресной строке:

topic

forum

итд.

A
На сайте с 10.01.2005
Offline
106
#7

конечно:) Но изменить их теперь очень сложно ввиду слишком хитрого устройства движка. Не спорю, можно, но для меня это уж очень заморочечено. Тем более, что сайт и форум некоммерческие...

K
На сайте с 31.01.2001
Offline
737
#8

http://www.yandex.ru/yandsearch?serverurl=www.yarportal.ru

1) Директива Host еще не сработала.

2) во втором блоке видно, что в URL идентификаторы сессий (были раньше), вот эти страницы и вылетели.

3) На несуществующие страницы надо выдавать 404 либо 301, но никак не 200.

http://yarportal.ru/forum15346346.html

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
П
На сайте с 24.02.2007
Offline
12
#9
1) Директива Host еще не сработала.

Что такое директива Host?

[Удален]
#10

>>>>>1) Директива Host еще не сработала

так да.. а почему спрашивается... она не срабатывает..

если три года работала нормально...

как этот глюк объяснить.. почему индексируется с www ?

это наверное даже Платону не известно....

>>>>>2) во втором блоке видно, что в URL идентификаторы сессий (были раньше), вот эти страницы и вылетели.

с идентификаторами сессий не вожусь уже год, как перешел с динамических адресов на статические...

и опять же весь год все работало отлично...

у меня в индексе было 50000 статических html-страниц с реальными темами (обычный средний по размерам форум)...

>>>>>>>3) На несуществующие страницы надо выдавать 404 либо 301, но никак не 200.

http://yarportal.ru/forum15346346.html

404 и выдается на большинство страниц... http://yarportal.ru/sdfsdfsdfsd.html

да если была тема... а потом ее удалили.... то движок форума выдаст... тема не существует с кодом 200...

а яндекс ее уже успел проиндексировать... уж не знаю как... но подобных пустых страниц в индексе яндекса никогда не наблюдалось.... да и процент таких удаленных тем крайне минимален....

вы думаете, в этом возможна проблема моих неприятностей?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий