Возник спор

F
На сайте с 27.03.2007
Offline
85
#91
greenwood:
доры .. батенька ..доры :)
на них много чего видишь, да и колличество их позволяет делать довольно точные выводы

Если поставить тесты на неск сотнях сайтов, то можно получить интересные выводы о влиянии беков на частоту захода бота... Я думаю Вы уже такие опыты поставили, поделитесь результатами)

Подобная зависимость по моему мнению логична, поэтому я проводил эксперименты.

По своим наблюдениям (бот Яндекса, период: август-сентябрь, сайтов в тесте - около сотни) могу сказать, что подобная зависимость (частоты посещения бота от беков) имеет место.

G.Suvorov
На сайте с 27.11.2007
Offline
50
#92

А что на счет изменения анкоров беков?

нужны данные? стучись сюда: парсеры, грабберы, data-mining (http://basilisklab.com/iru.html). РосПравосудие (http://rospravosudie.com).
K
На сайте с 24.03.2004
Offline
223
#93
G.Suvorov:
А что на счет изменения анкоров беков?

с таким же успехом можно туда рисовать index.html?refurl=.... поисковик придет по этой ссылке.

проверенная ддос защита (http://ddos-protection.ru) -> http://ddos-protection.ru (http://ddos-protection.ru), бесплатный тест, цена от размера атаки не зависит.
SC
На сайте с 07.09.2007
Offline
7
#94

будь я разработчиком бота я бы сделал следующее:

1. первоначальная индексация сайта:

- нашел ссылку на сайт, добавил в базу

- пошел по найденым страницам, с каждой из них ссылки тоже в базу

соответственно сайт индексируется деревом

2. для переиндексации

страницу нужно обновлять чаще по следующим параметрам:

- скорость изменения страницы

- скорость прироста бэков

- количество бэков

причем для каждой страницы устанавливать свое время следующего захода. Следовательно у робота не должно быть никакой очередности индексации, т.е. все время разная

например главную смотреть один раз в час, а допустим какую-то внутреннюю раз в день, и бот сначала зайдет 24 раза на главную а только потом на внутрюннюю

IrokezV
На сайте с 05.03.2006
Offline
153
#95
greenwood:
я настаиваю на том, что проследить откуда пришел поисковый бот (в смысле с какого ресурса по беку) можно - по косвенным признакам (коррелировать)
опонент доказывает, что это фантастика, мотивируя что бот не имеет рефера (это бесспорно)

В теории или на практике? :)

В теории возможно, но на практике - нет, так как ни у одного человека нет всех ЛОГОВ РУНЕТА :)

Вся жилая недвижимость на Avaho.ru ( http://avaho.ru/?utm_source=searchguru )
response
На сайте с 01.12.2004
Offline
324
#96

гм. или я задачи не понял, или что, но глянуть бэки, потом дату индексации содержащей их страницы (наверняка первая проиндексированная и дала роботу повод заглянуть к вам), и второе - kostich прав - смотреть, с каким рефом, переданным в параметре придет бот. Только тут минус в том, что с 10 сателлитов будет стоять 10 ссылок на 10 разных страниц с одинаковым содержимым. Хотя кому-то может это плюс :)

Однопоточный парсер ключевых слов Магадан (http://magadanparser.ru) (со свистелками) Многопоточный парсер ключевых слов Солнечный (http://sunnyparser.ru) (без свистелок)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий