Задал вопрос по поводу защиты от парсеров Яндексу - вот что ответили
> Добрый день, меня очень беспокоит защита моих сайтов от парсинга.
> Долго думал как защититься, есть два пути.
>
> 1. Блокировать частые запросы по IP, включив IP роботов Яндекса в белый
> список. Можно ли узнать IP Ваших роботов?
> 2. Есть параметр для файла robots.txt - Crawl-delay, который указывает роботу
> Яндекса время в секундах, с какой частотой он может посещать сайт.
> Следовательно можно блокировать те IP, с которых лезут чаще этого промежутка?
> На то, что Вы дадите IP Ваших роботов я и не надеюсь, прошу подтвердить
> правильность рассуждений из п.2
> Заранее спасибо за понимание.
1. IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться.
Поэтому мы не разглашаем их список и не рекомендуем использовать фильтрацию на
их основе. О том, как отличить, что робот принадлежит Яндексу Вы можете
прочитать на странице нашей помощи:
http://help.yandex.ru/webmaster/?id=1076102
2. Если всё будет настроено именно так, то проблем у наших роботов возникнуть
не должно.
Значит все же правильно я предложил 2-й вариант и он прокатит?
Но как в этом случае быть в Гуглом, Рамой и Майлом?
Яндекс это уже объяснил http://clubs.ya.ru/company/?ncrnd=91#y5__id44
Да вот они сами это объяснили http://clubs.ya.ru/company/?ncrnd=91#y5__id44
Господа, специально же написал аську - так быстрее будет.
Нет - ссылки навсегда не продаю. Статьи тоже не размещаю.
Спасибо!....
А я вообще хочу удалить свой ак вместе со всеми сообщениями - такое можно?
P.S. Кредитов не брал, вообще в финансовой ветке не писал, никого не оскорблял и т.п.
У меня большой каталог предприятий - адресные данные априори не уникальны.
Но то что Я собрал эти предприятия в одну кучу и структурировал - мой труд. Это я и хочу защитить!
Сам по себе у меня не уникальный контент - уникальна подача материала и его структурирование. И я не хочу потратив на сайт 3 месяца работы, дать слить его какому нить уроду за 20 минут.
Из всего обсуждаемого пришли к выводу, что блокировать по IP нельзя, потому что не сможем сделать белый список, так как точно не известны IP ПС.
Но метод, описанный мной в 60 посте должен сработать по крайней мере для Яндекса или я не прав?
Господа, прошу высказать свои мысли по поводу предыдущего поста. Неужели это только меня беспокоит?
Я не переводил на FastCGI - при заходе в админку по прежнему была ошибка.
Тогда уже делайте до конца:
chown -R dram:dram /var/www/dram/data/www/site.com/*
Это сейчас сделал - ошибка не пропала. Вернул www-data
