Конструктивнее критика будет? Или предложение как эффективно оценить уровень конкуренции? Не на глаз, а реально?
А я бы предложил такую методику.
Берем список запросов, по которым надо определить уровень конкурентности, получаем частоты (по Р или по Я) для запросов. Снимаем серпы по данным запросам (скажем, первые 10 мест). Вводим коэффициенты "эффективности" для каждого из мест, исходя из того, что в среднем лишь 30% переходят на 2-ю страницу поиска. Перемножаем частоты и коэффициенты - получаем эффективные показы для каждого из сайтов, найденных по запросам.
Далее находим для каждого из полученных сайтов тИЦ, PR, число ссылок всего и число ссылок по запросу, по которому они были найдены, нормализуем по какому-либо принципу (например по общей сумме конкретного показателя), суммируем нормализованные показатели и строим рейтинг по полученной сумме.
А он, конечно же, брал PR прямо от пресс-службы Гугля 🚬
Поисковый робот - тоже всего лишь анализатор страниц.
Слабо маски генерировать автоматом для случайного сайта? Иначе придется ручками задавать каждый раз.
А на многих не идут. Эдак ты и поискового робота напишешь
Да, да. Особенно замечательно Ваш скрипт будет работать в случае с каталогами из пары тысяч страниц 🚬 Потому как реализовывать Вы его наверняка собрались прямым поиском по всем страницам.
Что неправильно.
Делайте каталоги ссылок с человеческим лицом и будет вам щастье ;)
Смысл в клоакинге?
Показывать ссылки только если реферер с этого же сайта? Так Яндекс-бот реферер не передаст. А показывать ссылки только по User-agent'у поисковиков - так тогда никто и меняться не будет с таким вебмастером. Поэтому если ссылки не видны по прямому обращению к странице и по человеческому User-Agent'у, значит вебмастер нечист на руку.
У меня давно бродит в голове мысль сделать черный список сайтов, где когда-либо не была найдена ссылка другого вебмастера. Благо статистика СеМастера включает что-то около миллиона бэклинков на несколько десятков тысяч сайтов.
trawkin,
не совсем верно. Все зависит от способа реализации и частоты запросов.
Если раз в неделю делать запрос бэклинков с имитацией действий пользователя, то никакой поисковик не забанит.
Могу сказать, что у меня СеМастер был забанен лишь спустя год после открытия, успев выполнить примерно полмиллиона запросов к поисковикам.
Теперь работает через прокси.
Ну а проверка бэклинков уже именно на сайтах, с которыми обменивался, явно не грозит баном. Вебмастера и админы не остлеживают такое.
Извлекаем ссылки из Яндекса и Гугла и проверяем по расписанию на своих ли они местах
