А не скачать ли нам базу ссылок рунета? :)

FlyAway
На сайте с 01.06.2005
Offline
439
#41
euhenio:
Как я понял, участвуют: я, FlyAway, slon7, human, Scripteur, beroot, aleks, romanov, Professor (итого 9)
Думают: Dm

Вообще, у меня нет цели довести цену вопроса до $10 :) Сейчас она ок. $150 (с учетом оценок), что нормально. В принципе, набор желающих можно сворачивать. :)

Interitus, ты имеешь в виду, уникальных хостов? Или уникальных ссылок?

ну и меня включите в списочек

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
romanov
На сайте с 13.01.2005
Offline
145
#42
ну и меня включите в списочек

Ты же и так там есть..Или по двойным тарифам? ;)

зарабатываейте с нами (http://www.seowizard.ru/r.54b8561c00.php)
[Удален]
#43
euhenio:

Interitus, ты имеешь в виду, уникальных хостов? Или уникальных ссылок?

Хостов. Ну и ссылок, если искать все страницы с какого-то сайта.

A
На сайте с 08.03.2003
Offline
203
#44
FlyAway:
ну и меня включите в списочек

я тебя то зачем? 🙄

(шутка)

--

сижу вот в интернет кафе в москве .. все дела как то больно быстро решил ...

Славгородский Алексей,
Ваш Партнер – создание и продвижение сайтов (http://vashpartner.ru/)
AiK
На сайте с 27.10.2000
Offline
257
AiK
#45

В голове вертится мысль о проекте, использующем распределенные вычисления. Если бы я мог на своем компьютере установить такую резидентную программу, которая делала бы запросы к Яндекс.XML, производила первичную обработку результатов и отсылала их на центральный сервер, а за это я бы мог делать соответствующее моему вкладу количество запросов к этому серверу, то я был бы активным участником этого проекта. Тафика и вычислительных ресурсов у меня навалом.

Кстати, хорошая идея. Только ну его нафиг этот Яндекс :) Он мало того, что более 1000 ссылок не показывает, так ещё и дубли подавляет и вообще не точную инфу по ссылкам даёт.

Скринсейвер написать, который будет связываться с сервером, получать список страниц для обхода, выдирать из них ссылки и отправлять обратно на сервер - не большая проблема.

Проблема в сервере, точнее в выдирании сессий из URL, чтобы по несколько раз одно и то же не закачивать. Стандартные варианты понятно как обрабатывать, а нестандартные? И ещё один ньюанс: правила, по которым определять, что страница не русская. Яндекс заявлял, что он только первый слой с иноземных сайтов собирает, но только благодаря дорвейщикам он немало дорвеев насобирал, причём довольно глубоко. Вообще речь идёт о просеивании примерно 210-250млн. документов...

euhenio
На сайте с 21.09.2001
Offline
357
#46

Мне кажется, умнее Яндекса и индексировать рунет может быть вредно... Пусть у нас база ссылок будет полнее - так Я. рассчитывает на основе своей базы :)

Вообще, проблему с 1000 ссылками можно решить, наложив доп. условия в запросе. Например, на урл ссылающихся. Или на наличие-отстувие слов, или на дату последнего скачивания.

Interitus, ну понятно, что с одного хоста может быть много ссылок, и все они должны быть в выдаче. Так это хорошо. Или ты имел в виду другое?

с ув., Евгений Трофименко seo блог Trofimenko.ru ( http://trofimenko.ru/ ) но ыыы мало обновляется... Tools.Promosite.ru - анализатор апдейтов Яндекса (пожертвуйте лимиты на Яндекс.XML! ( https://searchengines.guru/ru/forum/801888/page7#comment_11942489 )) Konvr.ru - увеличение конверсии сайта на 81% за 4 недели ( http://konvr.ru/ )
AiK
На сайте с 27.10.2000
Offline
257
AiK
#47

euhenio, наверное ставить знак равенства между отображением при поиске по ссылкам и учётом в рассчётах ссылочного ранжирования не очень разумно ;) Зато в варианте с самостоятелным индексированием рунета можно набрать не только сами ссылки, но и тексты этих ссылок...

[Удален]
#48

Скринсейвер написать, который будет связываться с сервером, получать список страниц для обхода, выдирать из них ссылки и отправлять обратно на сервер - не большая проблема.

А чем это проще традиционной индексации с сервера?


Interitus, ну понятно, что с одного хоста может быть много ссылок, и все они должны быть в выдаче. Так это хорошо. Или ты имел в виду другое?

Я имел ввиду другое, а именно - неуникальность результатов на разных страницах выдачи по запросу.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#49

А чем это проще традиционной индексации с сервера?

Это не проще или сложнее это - подругому :) , но плюс к этому это существенно дешевле, т.к. ты а) не будешь покупать Я.ХМЛ, т.к. вообще к Яндексу запросов делать не будешь и б) ты не будешь потреблять лишний трафик, скачивая на сервер страницы целиком

Я не говорю уже про то, что бота с сервера могут и побанить, а тут банить некого будет :)

euhenio
На сайте с 21.09.2001
Offline
357
#50

Interitus, ты имеешь в виду, что одна и та же ссылка будет встречаться на несколькоих страницах выдачи по ссылкам? Не видел такого.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий