Нужно будет потестировать...
Так если с Яндекса переходят с https, а ваш сайт на http, то реферер не передаётся (насколько я знаю). Там какая-то техническая проблема с этим.
Вы были залогинены в этот момент?
50 бредостатей получится и ничего более.
Берёте TopSite, открываете подбор слов и врубаете рекурсивный автосбор:
Скорее всего там кеширование и оно обновляется в течение 24 часов. Только и всего. Тем более вроде бы сегодня текстовый АП.
Мониторинг конкурентов в программе TopSite:
Сбор конкурентов из ТОП-100 по группе запросов. Свои сайты подсвечиваются.
При нажатии на сайт, открывается список всех его страниц, найденных в ТОПе.
Открытый счётчик liveinternet?
Сделать, чтобы парсер принимал кукисы. Сначала заходил на главную, открывая сессию, а затем уже туда, куда нужно.
Программа TopSite! ☝
