Яндекс Каталог от а до я и небольшой сервис

12
M0
На сайте с 10.06.2009
Offline
91
1954

Предлагаю вашему вниманию полную базу сайтов Яндекс каталога - сделана только что, в декабре. Число сайтов в базе 106850. Подробно: http://sitesdata.ru/

По каждому сайту, кроме информации, доступной в ЯК (название, описание, рубрики, регионы, типы и др.), собрано большое количество дополнительных данных:

- с самого сайта (тайтл, дескрипшн, кодировка, емейлы, если есть на странице),

- из Яндекса (наличие и домен зеркала, наличие в индексе и число страниц в индексе)

- из гугла (PR, наличие и домен зеркала, наличие в индексе и число страниц в индексе)

- из Yahoo (число бэков и число страниц в индексе)

- из Alexa (Traffic Rank, Reach Rank, links in, DMOZ)

- из Whois (статус, регистратор, владелец с данными, какие дали, даты регистрации, изменения, окончания срока домена).

- DNS (записи A, NS, MX, CNAME)

- WebArchive (дата)

Таким образом, по полноте данных о сайтах данная база не имеет аналогов. Думаю, для каждого она может принести огромную пользу, как в плане анализа, так и в чисто практических целях продвижения своих сайтов.

База поставляется в двух видах: дамп mysql и текстовый файл с разделителями (в нем немного сокращены маловажные поля), сортированный по рубрикам-подрубрикам.

Дополнительно вы можете получить дамп mysql базы всех страниц ЯК (брались только страницы категории "все сайты") - 526619 записей. В ней, например, можно посмотреть число сайтов для каждой рубрики, в т.ч. по регионам, и в базе сайтов указаны ссылки на ид страниц, где сайты были найдены.

Ну и просто полный перечень рубрик ЯК (который, впрочем, доступен и просто на сайте http://sitesdata.ru/. В общем, на этом сайте вы найдете всю подробную информацию.

А также, к вашим услугам небольшой дополнительный сервис: задав урл сайта вы можете посмотреть почти все данные о нем из этой базы (для массированного/роботизированного использования не предназначен, но получить информацию о нужных сайтах, а заодно оценить базу вы сможете).

Стоимость базы 55 WMZ или 1760 WMR.

Но в честь всех праздников - специальная акция:До 15 января вы можете получить полный комплект всего за 35 WMZ или 1120 WMR.

S
На сайте с 01.10.2009
Offline
59
#1
Mike05:
Предлагаю вашему вниманию полную базу сайтов Яндекс каталога - сделана только что, в декабре. Число сайтов в базе 106850. Подробно: http://sitesdata.ru/

Таким образом, по полноте данных о сайтах данная база не имеет аналогов. Думаю, для каждого она может принести огромную пользу, как в плане анализа, так и в чисто практических целях продвижения своих сайтов.
Стоимость базы 55 WMZ или 1760 WMR.
Но в честь всех праздников - специальная акция:До 15 января вы можете получить полный комплект всего за 35 WMZ или 1120 WMR.

т.е. вбить все категории я.каталога в http://buzzman.ru/YacaParser/ и массово прочекать все сайты стоит 35 баксов? действительно нет аналогов :)

M0
На сайте с 10.06.2009
Offline
91
#2
seregagrankin:
т.е. вбить все категории я.каталога в http://buzzman.ru/YacaParser/ и массово прочекать все сайты стоит 35 баксов? действительно нет аналогов :)

Вы, видимо, очень невнимательно читали. Ваш buzzman дает голый список сайтов одной категории, которую вы знаете (и в пределах тех 100 страниц, что позволяет ЯК). В нашей базе вся инфа из выдачи ЯКа (название, описание, адрес, осн. регион, пда), все категории, все типы, всё по регионам, плюс по всем 100+к сайтам получена инфа из янда, гугла, яхи, алекса, днс, хуиз, вебархив, сам сайт. Все это объединено вместе и предлагается в готовом виде для удобного использования. Попробуйте для эксперимента проделать это хотя бы для одной категории или попросите кого сделать это за сколько баксов он согласится?

И да, я могу утверждать, что аналогов по объему нет. Где-то за 170 баксов продают устаревшую базу со значительно меньшим объемом информации, где-то еще есть версии, в основном кусками. Но аналогов по полноте нет.

СД
На сайте с 24.11.2009
Offline
56
#3

База, конечно, крутая. По описанию все что мне надо есть. Вот только как с ее заполнением? я то я сталкивался уже, когда поля присутствуют, а информации - хрена.

M0
На сайте с 10.06.2009
Offline
91
#4
СтарыйДед:
База, конечно, крутая. По описанию все что мне надо есть. Вот только как с ее заполнением? я то я сталкивался уже, когда поля присутствуют, а информации - хрена.

Данные по сайтам собирались в несколько проходов, чтобы результаты были максимально полными. На сайте же есть таблица статистика заполнения наиболее важных полей:

Параметр Заполненность (%)

url - Адрес сайта в ЯК 100

nazv - Название в ЯК 100

opis - Описание в ЯК 95.6

razdel - Раздел в ЯК 1 99.9

tic – ТИЦ 100

pr - страницы, указанной в ЯК 100

whostat - Статус домена 95,9

whoowner - Владелец домена 93,8

whoownemail - E-mail владельца домена 93,4

whoregdate - Дата регистрации домена 94,2

whoenddate - Дата освобождения домена 95,6

title - Тайтл страницы, указанной в ЯК 98,9

descrip – description этой страницы 65,5

encoding - кодировка этой страницы 90,5

siteemail – емейлы, присутствующие на этой странице 52,4

yahooback - бэки по Яху 99,7

yahoopages - страниц по Яху 98

yaindpages - страниц в Яндексе 98

gooindpages - страниц в Гугле 97,8

Там, где данных нет, это по большей части их объективно нет. Например, емейлы со страницы сайта 52% - просто потому, что не на каждой странице этот емейл есть (или он бывает зашифрован). Но где доступен - все данные включены.

СД
На сайте с 24.11.2009
Offline
56
#5

Вчера оплатил, и где реакция?

M0
На сайте с 10.06.2009
Offline
91
#6
СтарыйДед:
Вчера оплатил, и где реакция?

Все отправлено. (Извините, я иногда и сплю, так что когда в 23-хх оплатил, не надо до утра волноваться).

СД
На сайте с 24.11.2009
Offline
56
#7

Спасибо, все скачал, встало на Денвер и работает. Мне особенно важно, что везде указаны точные регионы, и можно сразу оценить сайты из выборки по всем параметрам. В общем, доволен.

M0
На сайте с 10.06.2009
Offline
91
#8

Только один день, в честь католического Рождества - суперакция.

От данной минуты и до 24-00 25 декабря вы можете приобрести базу (полный комплект) по цене всего 17 WMZ или 544 WMR.

Подробности - на сайте - http://sitesdata.ru/kupit.htm

makapoff
На сайте с 19.08.2008
Offline
128
#9
Mike05:
Только один день, в честь католического Рождества - суперакция.

От данной минуты и до 24-00 25 декабря вы можете приобрести базу (полный комплект) по цене всего 17 WMZ или 544 WMR.

готов купить по этой же цене в честь НГ )

Куплю контекстные ссылки - навсегда. ТИЦ > 100. Домену от 2-х лет. Куплю ссылки с мебельных сайтов!
M0
На сайте с 10.06.2009
Offline
91
#10
makapoff:
готов купить по этой же цене в честь НГ )

ОК, покупайте, праздник - это святое. :) Реквизиты для оплаты - на сайте.

Единственно, я буквально сейчас убываю на дачу, и буду только 2-го января. Тогда сразу дам ссылку для скачивания баз.

Кто оплатит до моего приезда - всем такие условия. :)

С Новым годом! Счастья и удачи Вам и всем форумчанам в новом году!

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий