Форум Сайтостроение Веб-строительство

Парсинг ЯК

МЛ
На сайте с 05.09.2009
Offline
48
Мих@лыч
728

Не для кого не секрет, что Яндекс показывает не все сайты в каталоге.

Например -

http://yaca.yandex.ru/yca/cat/Business/Construction/Building_Supplies/100.html

Сайтов в рубрике: 3858

а останавливается на 2020 сайте (100-я страница)

Как можно посмотреть все остальные сайты и есть ли у кого нибудь парсер ЯК, который все эти невидимые сайты берет

kil
На сайте с 03.04.2006
Offline
84
kil
#1

Просто надо пропарсить вложенные разделы.

[Удален]
#2

ТС, тут даже школьник поймет что подразделы для этого парсить надо =)

МЛ
На сайте с 05.09.2009
Offline
48
Мих@лыч
#3
kil:
Просто надо пропарсить вложенные разделы.

каким образом это реализовать? Есть какие то готовые решения?

SEOmode:
ТС, тут даже школьник поймет что подразделы для этого парсить надо =)

а при чем тут подразделы, если я и так уже в самом последнем подразделе рубрики, ..

ewg777
На сайте с 04.06.2007
Offline
225
ewg777
#4
Мих@лыч:
каким образом это реализовать? Есть какие то готовые решения?


а при чем тут подразделы, если я и так уже в самом последнем подразделе рубрики, ..

А это что? 

Лаки и краски 321

Окна, жалюзи 717

Двери 684

Напольные покрытия, паркет 443

Плитка, облицовка 416

Потолки 182

Бетон, смеси 464

Кирпич, камень, песок 377

Лесо- и пиломатериалы 193

Панели, фасады 547

Кровля 315

Сантехника 267
glab
На сайте с 10.09.2008
Offline
42
glab
#5

Можете воспользоваться нашими услугами, ссылка в подписи.

МЛ
На сайте с 05.09.2009
Offline
48
Мих@лыч
#6
ewg777:
А это что?

если сосчитать их, то получается 4926, а в самой рубрике пишет - 3850, можно сослаться на то, что некоторые сайты в 2х разделах идут, но если все сайты собрать, то получается на самом то деле - 3513

Вот я и хочу выяснить куда все теряется :)

ewg777
На сайте с 04.06.2007
Offline
225
ewg777
#7
Мих@лыч:
если сосчитать их, то получается 4926, а в самой рубрике пишет - 3850, можно сослаться на то, что некоторые сайты в 2х разделах идут, но если все сайты собрать, то получается на самом то деле - 3513

Вот я и хочу выяснить куда все теряется :)

Каким образом парсите?

[Удален]
#8
Мих@лыч:
если сосчитать их, то получается 4926, а в самой рубрике пишет - 3850, можно сослаться на то, что некоторые сайты в 2х разделах идут, но если все сайты собрать, то получается на самом то деле - 3513

Вот я и хочу выяснить куда все теряется :)

ну и ****

bearman добавил 19.09.2009 в 20:41

дарю =))

http://94.31.169.103/files/cats.rar

там тицы и еще какая то вата, каталог старый, может и пригодится. а может? :)

есть сам парсер :)

Brand from Amber
На сайте с 18.08.2007
Offline
293
Brand from Amber
#9

ewg777, образом: 321+717+684+443+416+182...

Лучший способ понять что-то самому - объяснить это другому.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий