Отчеты по индексации + еще?

chudinov
На сайте с 28.10.2005
Offline
101
1376

Коллеги, подскажите плиз...

Есть сервис (для личного пользования), см лайт версию для обсуждения demo.bothunter.ru

Хотел бы у Вас уточнить собственно, какие отчеты для рядового оптимизатора (и/или вебмастера) актуальны и востребованы?

Сейчас bothunter позволяет (по дням):

1. отчет по индексации хоста (не заглядывая в логи и т.п.) в реалтайме с историей

2. отчет о трафике с поисковых систем (более удобный для меня формат, не стоит сравнивать с Li и G analytics

3. сравнивает IP краулера с базой адресов поисковиков, если это лже краулер (возможно парсят) то не отображает контент по данному url в момент запроса

4. позволяет сравнивать активность индексации до и после апдейта

5. выдает отчет о соотношении числа загруженных страниц яндексом к числу страниц в поиске

6. инфа по коммерческому трафику (число переходов) по запросам "купить *", "продать *" и т.п.

7. формирует отчет по региональной принадлежности пользователя, задавшего поисковый запрос (отчет только по яндексу)

Что хотелось сделать, но не могу сформулировать формат отчетов (и их востребованность):

- нужны ли отчеты по сетке сайтов, если да то какие?

- нужны ли отчеты индексации ботом сапы или нет (для вебмастеров)?

- нужны ли отчеты о фактах воровства контента с сайта (ip парсера, url который парсят, и т.п.)

- что-то еще...

жду комменты

p.s. сейчас сервис используется в личных целях, если будет у кого желание принять участие в "создании" отчетов - готов дать инвайт

# rm -rf *
Линар
На сайте с 17.11.2008
Offline
31
#1

Сервис интересный:) особенно отчет о поисковом трафике порадовал - наглядно и интересно. Даже "источник" есть:) на днях добавлю еще комментов

SiBoner
На сайте с 05.03.2010
Offline
82
#2

Вот насчет отчетов о воровстве. Идея хорошая. Только я не могу представить как ее реализовать :)

chudinov
На сайте с 28.10.2005
Offline
101
#3
SiBoner:
Вот насчет отчетов о воровстве. Идея хорошая. Только я не могу представить как ее реализовать :)

ну тут все относительно

если сисема замечает загрузку ваших страниц подряд, к примеру с перебором id

парсят

./page.html?id=1

./page.html?id=2

./page.html?id=3

...

./page.html?id=N

то можно тупо для этого "бота" выключить отображение контента на уровне кода

в итоге парсер считает пустую страницу

аналогично можно делать если пользователь представился юзерагентом поисковика хотя и не имеет IP из необходимой подсети

вопрос только в том, на сколько это востребованно (я про доп функции)

[Удален]
#4
Notice: Undefined offset: 3 in /usr/home/bothunter/data/www/demo.bothunter.ru/bots.inc on line 6

Что-то, наверное, не так :)

SiBoner
На сайте с 05.03.2010
Offline
82
#5
chudinov:
ну тут все относительно
если сисема замечает загрузку ваших страниц подряд, к примеру с перебором id
парсят
./page.html?id=1
./page.html?id=2
./page.html?id=3
...
./page.html?id=N
то можно тупо для этого "бота" выключить отображение контента на уровне кода
в итоге парсер считает пустую страницу
аналогично можно делать если пользователь представился юзерагентом поисковика хотя и не имеет IP из необходимой подсети

вопрос только в том, на сколько это востребованно (я про доп функции)

нет, ну как это сделать против ботов, это понятно. А вот как защититься от ручного воровства. Ведь если тематика интересная, и контент уникален, то можно ожидидать и ручного копирования :)

2laFrosT
На сайте с 17.10.2007
Offline
28
#6

я бы ещё добавил статус коды отдаваемых страниц + время загрузки, для вебмастера полезная инфа

chudinov
На сайте с 28.10.2005
Offline
101
#7

про коды... имелось ввиду заголовки?

тут сложно отследить, отдали краулеру 502 а через 10 мин 200, не очень очевидно

про ручной копипаст - это вообще не реально проконтролировать

chudinov добавил 12.03.2010 в 09:55

dongondon:
Что-то, наверное, не так :)

бывает... пофиксили

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий