выборка в 9 ссылок нерепрезентативна, проведите эксперимент на большем числе (скажем хотя бы по 10000 тех и других) на временном промежутке хотя бы полгода.
А по теме- да, в сапе арендной вполне можно найти ок доноров, надо только много отсеивать (мы раз в квартал где-то выгружаем большие списки доноров, прогоняем и отсеиваем шлак, оставшихся добавляем в вайт лист и работаем уже по нему) другое дело, что время от времени приходится "проверять" размещение, но тут помогают парсеры, которые вполне нормально могут выщелкнуть шибко умных вебмастеров с подвальным размещением.
С ГГлами же всякими с мирами ситуация очень плачевна - они не изменили свой вектор и все также агрессивно настроены по отношению к оптимизатору
прокси + антигейт.
Парсим около полумиллиона запросов каждый день (Яндекс)
Вопрос скорее в том, единоразово ли вам это нужно или регулярно/насколько часто, какая актуальность данных устроит? можно например миллион запросов парсить месяц, затем начинать снова, можно сделать одним днем, но очень ресурсоемко.
Опять же не ясна цель, может есть другой выход
К вопросу о том, что тема мудацкая
/ru/news/20730
отрабатывает корректно,
грубо говоря, как-то так
тогда, вероятно, у вас на сайте какая-то волшебная структура урл, тк регулярное выражение не может "работать" или "не работать" оно просто есть
или же то что вы хотите отличается от того что вы пишете
вот так например http://counter.yadro.ru/values?site=krivonosov.ru---------- Добавлено 16.01.2015 в 12:25 ----------это счетчик li если что
8 непонятных страниц- скорее всего это единственные страницы второго уровня на которые заходили, а по нулям- это значит что туда не заходили пользователи.
Если хотите, можете предоставить мне доступ к счетчику чтобы я проверил, тк на моих сайтах все отрабатывает на ура
первый уровень ^/catalog/?$
^- начало строки
/? - игнорирование наличия или отсутствия слеша на конце урла
$- конец строки
конструкция применима если вам нужно узнать показатели конкретной страницы категории
для второго уровня посмотрю чуть позже ---------- Добавлено 15.01.2015 в 17:08 ---------- для второго уровня ^/catalog/[^/]*/?$
[^/]* - любой набор символов кроме /
Мудацкая на самом деле тема.
Теперь, когда это приобретает массовый характер, яндексоиды могут лавочку и прикрыть
