Форум Сайтостроение Администрирование серверов

/bin/bash - curl запрос в яндекс

12
Andreyka
На сайте с 19.02.2005
Offline
822
Andreyka
#11

Очевидно, что те прокси уже знакомы Яндексу

Не стоит плодить сущности без необходимости
neoks
На сайте с 17.03.2010
Offline
152
neoks
#12

Andreyka, попробовал с VPS и все равно таже история, хотя запрос от VPS был первый в яндекс за последние 3-4 месяца.

Да и опять таки повторюсь, попробовал теже прокси на webparser и на PHP скрипте, там и там идет сбор URL, а тут с 1000 не один не прошел.

Яндекс.Дзен подключает монетизацию галерей Вышла новая версия программы Rush Analytics запускает модуль
neoks
На сайте с 17.03.2010
Offline
152
neoks
#13

разобрался, тему можно оф.

Andron_buton
На сайте с 19.07.2007
Offline
270
Andron_buton
#14

ТС, и что ж не так было, заинтриговали прям?

neoks
На сайте с 17.03.2010
Offline
152
neoks
#15
Andron_buton:
ТС, и что ж не так было, заинтриговали прям?

Честно говоря хз, просто добавил куки + пару переменных и заработало. Сомневаюсь что в них дело но все же.

curl --proxy "$prox" --connect-timeout 3 -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1)" -b "/tmp/yandex" -c "/tmp/yandex" -L -s  "http://yandex.ua/yandsearch?text=$slova&lr=145&numdoc=50" | sed 's%<a %\n%g' | sed 's%onmousedown%\n%g' | grep "class=\"b-serp-url__link\"" | awk -F '/' '{print $3}' | sort|uniq -ic|sort -gr| awk '{print $2}'
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий