ActionTime

ActionTime
Рейтинг
115
Регистрация
27.12.2006
VoV@:
IP, с которого зашёл парсер я в логах не нашёл

user-agent HTMLParser

rokos:
чем больше счетчиков - чем больше байт в HTML коде страницы

) именно в хтмл коде страницы как раз не существенно больше байт, чтобы это играло значительную роль по разнице показателей счетчиков, читайте выше

telnet76:
Зачем же сразу банить?
Можно ограничить. Как думаете, такого правила в robots хватит?

User-Agent: spider5.mail.ru
Crawl-delay: 60

не знаю, не пробовал

Закрытия ссылок от индексации gogo.ru

gogo.ru как запретить индексацию?

о если такие налеты поискового бота на мой сайт продолжаться, то у меня не останется много выбора как забанить паука.

о чем спор (( ну и баньте если вам так "больно"

По теме Тематические предпочтения пользователей различных поисковых машин (хоть публикация и давняя..)

+ http://sales.mail.ru/audience.htm

Особенно интересным мне кажется http://sales.mail.ru/affinity.htm и http://sales.mail.ru/compare_press.htm

+ /ru/forum/146041

telnet76:
Давайте посмотрим динамику по моему ресурсу: переходы с поисковых систем по данным LI.

__________________________

ну и?

telnet76:
Моему ресурсу mail.ru/gogo дают 2,4% трафика.

ну по доступной мне статистике сайтов 10-15% от количества переходов Яндекса.

"дают 2,4% трафика" - это все относительные цифры, тем более от всех посещений (мало какие источники могут быть), а не поисковых.

Лучше давайте посмотрим динамику

gif dinamika.gif
Litvin:
ActionTime,
Можете доступно объяснить почему это так? А также, если возможно относительно "чем больше вес страницы"

не вопрос...

позволю себе "процитировать" часть раздела "Статистика сайта и ее анализ. Счетчики: возможности, достоинства и недостатки" книги "Продвижение сайта в поисковых системах. И. Ашманов, А. Иванов"

gif citata.gif
telnet76:
Обычно пауки стараются не перегружать ресурсы при их индексации: за то же время googlebot сгенерировал 36 мб траифика, яша - 47 мб, yahoo - 39 мб). В данном случае, паук mail.ru за двое суток просмотрел весь 400-страничный сайт и форум с 60 тыс. сообщений.

неплохие темпы )

надеюсь, для вас это оправдано,

интересно какая посещаемость будет с этого поисковика в ближайшем будущем

Я вот только никак понять не могу - чего пауку понадобилось от моего сайта в таких объемах?

.... а что обычно может понадобиться пауку?

http://whois.domaintools.com/195.239.211.234

&gogo.ru http://whois.domaintools.com/194.186.55.217

Всего: 683