входные данные:
freebsd
скрипт perl
все разнесено в апаче по виртуальным хостам результат - основной ip а не ip который прошит в виртуальном хосте.
товарищам из YA не надо бороться только с одной биржей. им надо глобально подойти и отрубить учет всех автоматических расстановленных ссылок.
как ?
да вот так: есть внизу ссылки а теперь нет
и не надо говорить что для этого трафа будет съедено дофига. такой махине как ya не влом по 2 раза запросить каждую страницу при обнаружении 2 -х и более исходящих ссылок на странице для анализа и сравнения, а после для игнорирования того что расстановлено автоматом!
спасибо. мог и не спрашивать.
но ключевую фразу нашел
может подскажите где?
видимо отголоски этой темы: /ru/forum/149644
в том то и дело регион не известен.
у кого стоит ya bar последний? может в нем организовали эту фишку?
Странно что люди создающие поисковик не учли роботс тхт
так вот и спрашиваю как написать robots.txt
например закрыть msn:
User-agent: msnbot
Disallow: /
User-agent: *
Disallow:
а вот как закрыть gogo ? как представляются его пауки?
