Вопросы новичков. Часть 3

А чем вас ответ не устроил?

Чет подозреваю, что Yallo подразумевает под быстроботным траффиком - бототраффик.

Подскажите сервис для индексации страниц через твиттер. Но только актуальный, а то сейчас в гугле дела странные творятся.

Нет, я подразумеваю именно быстробот трафик. Я имела в виду ситуацию - закидываю пачку доров, на 2-3-й день на них идет быстробот траф, например 1к уников и держится 2-3 дня, вот куда этот траф слить, чтобы после того, когда быстро бот уйдет можно было забыть об этой пачке.

Туда же куда и обычный. Там такие же юзеры с поиска.

Вы не правильно вопрос задали.

Суть вашего вопроса я так понимаю, как максимально монетизировать 1-3 кила трафа с поиска. Быстророботный он или не быстророботный, значения не имеет.

Собственно вам на него правильно ответили, максимум что можно выжать с доротрафика, это редирект на партнерку с клоакой. Так же монетизируют и "обычные" доры. Другого пока ничего не придумали.

как и чем выпарсить тайтлы и урлы сотни сайтов из выдачи гугла?

мне нужно выпарсить то, что выдается по запрпосу site:domain.com для сотни доменов.

на этих доменах стоит клоакинг, поэтому обратится к доменам напрямую проблемотично.

нужно выпарсить имеено пары тайтл(или его часть из сниппета выдачи гугла)/урл.

_alex__, content downloader, aparser

найди просто парсер в котором можно отключить редиректы или подставить UserAgent гугла, и клоака теоретически должна отключится (если там не сложный алгоритм проверки):

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

UPD: от себя добавлю еще софтинки "Screaming Frog SEO Spider" и "Xenu". Ну и чтобы пауком не собирать ссылки на сайтах поищите наличие на них /robots.txt , а в нем ссылки на /sitemap.xml, вдруг повезет и все на блюдечке будет.

если у свежего дропа нет инфы в вебархиве за 2018 год и индекса гугла то такой лучше не брать?