Litvin: ActionTime, Можете доступно объяснить почему это так? А также, если возможно относительно "чем больше вес страницы"
не вопрос...
позволю себе "процитировать" часть раздела "Статистика сайта и ее анализ. Счетчики: возможности, достоинства и недостатки" книги "Продвижение сайта в поисковых системах. И. Ашманов, А. Иванов"
telnet76: Обычно пауки стараются не перегружать ресурсы при их индексации: за то же время googlebot сгенерировал 36 мб траифика, яша - 47 мб, yahoo - 39 мб). В данном случае, паук mail.ru за двое суток просмотрел весь 400-страничный сайт и форум с 60 тыс. сообщений.
неплохие темпы )
надеюсь, для вас это оправдано,
интересно какая посещаемость будет с этого поисковика в ближайшем будущем
IP, с которого зашёл парсер я в логах не нашёл
user-agent HTMLParser
чем больше счетчиков - чем больше байт в HTML коде страницы
) именно в хтмл коде страницы как раз не существенно больше байт, чтобы это играло значительную роль по разнице показателей счетчиков, читайте выше
Зачем же сразу банить?
Можно ограничить. Как думаете, такого правила в robots хватит?
User-Agent: spider5.mail.ru
Crawl-delay: 60
не знаю, не пробовал
Закрытия ссылок от индексации gogo.ru
gogo.ru как запретить индексацию?
о чем спор (( ну и баньте если вам так "больно"
По теме Тематические предпочтения пользователей различных поисковых машин (хоть публикация и давняя..)
+ http://sales.mail.ru/audience.htm
Особенно интересным мне кажется http://sales.mail.ru/affinity.htm и http://sales.mail.ru/compare_press.htm
+ /ru/forum/146041
Давайте посмотрим динамику по моему ресурсу: переходы с поисковых систем по данным LI.
__________________________
ну и?
Моему ресурсу mail.ru/gogo дают 2,4% трафика.
ну по доступной мне статистике сайтов 10-15% от количества переходов Яндекса.
"дают 2,4% трафика" - это все относительные цифры, тем более от всех посещений (мало какие источники могут быть), а не поисковых.
Лучше давайте посмотрим динамику
http://www.liveinternet.ru/stat/ru/searches.html
http://index.bigmir.net/se
ActionTime,
Можете доступно объяснить почему это так? А также, если возможно относительно "чем больше вес страницы"
не вопрос...
позволю себе "процитировать" часть раздела "Статистика сайта и ее анализ. Счетчики: возможности, достоинства и недостатки" книги "Продвижение сайта в поисковых системах. И. Ашманов, А. Иванов"
Обычно пауки стараются не перегружать ресурсы при их индексации: за то же время googlebot сгенерировал 36 мб траифика, яша - 47 мб, yahoo - 39 мб). В данном случае, паук mail.ru за двое суток просмотрел весь 400-страничный сайт и форум с 60 тыс. сообщений.
неплохие темпы )
надеюсь, для вас это оправдано,
интересно какая посещаемость будет с этого поисковика в ближайшем будущем
.... а что обычно может понадобиться пауку?
http://whois.domaintools.com/195.239.211.234
&gogo.ru http://whois.domaintools.com/194.186.55.217