- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Наверняка тема боян, но погуглив мало чего нашел толкового, все темы как то разрознены. И так задача:
в борьбе с ддосами и так далее часто применяют правило ограничений доступа с одного айпи и естественно отсекаются так же и боты поисковиков. Значит нужен вайт лист со списком поисковых систем.
1)Яндекс вроде более менее понятно, идем сюда http://www.db.ripe.net/whois?form_type=advanced&full_query_string=&searchtext=YANDEX-MNT&do_search=Search&inverse_attributes=mnt-by&ip_search_lvl=Default%2528nearest+match%2529&alt_database=ALL&object_type=inetnum
и все диапозоны в вайт - если я не прав поправьте.
2) Нужно аналогично для Google Ramblera Mail и Aporta что там из полезно еще ? Qip
как правильно в рипе запрос сделать для них ?
3) как это правильно в ipfw (для Freebsd) и в iptables (опционально для linux) прописать
Просьба свои айпи не приводить, все равно не поверю - нужен надежный источник.
К манам просьба тоже не посылать, уважаю доки но хочу здесь ман под конкретную задачу собрать.
Профи велком.
Примерно так:
07000 allow tcp from table(0) to me dst-port 80
07001 deny ip from table(1) to me
(если из командной строки, то завернуть table(N) в кавычки "table(N)")
затем добавляем белые сети (поисковиков)
ipfw table 0 add сеть1
ipfw table 0 add сеть2
...
ipfw table 0 add сетьN
и черные сети (ддосеров собираем из логов)
ipfw table 1 add ip1
ipfw table 1 add ip2
...
ipfw table 1 add ipN
Осталось найти сети поисковиков :)
Осталось найти сети поисковиков :)
ну собственно это и есть основной вопрос :)
Нормальная практика - отдать боту 503. Он зайдет позже.
Ненормальная - ограничивать его по IP.
Нормальная практика - отдать боту 503. Он зайдет позже.
Ненормальная - ограничивать его по IP.
Я разве говорил что ботов поисковых систем нужно ограничивать ? нет я как раз о том чтобы их в белый лист добавить !
кстати это ваше попозже может месяцами длится ...
лучше уж Crawl-delay использовать http://help.yandex.ru/webmaster/?id=996567
1397 ip есть список. Можем продать.
1397 ip есть список. Можем продать.
говорю же надежные источники нужны, а то вместе с поисковыми ботами можно еще и трипер зароботать ... Из разряда - могу посоветовать что использовать в качестве root пароля ;)
Вообще это что сверхсикретная информация ?
кстати это ваше попозже может месяцами длится ...
Для говносайтов - да
щас нормальный народ подтянется, может и поделится.
я на днях таким же вопросом задавался.
список сетей можно получить по номерам AS.
как вариант брать логи посещаемого сайта или сайтов (желательно за несеолько дней), получать уникальные IP-адреса и делать обратный резолвинг, далее по вхождению домена решать какие адреса (сети) им принадлежат.
такое впечатление что никто не в курсе что вообще есть поисковые боты :)
мы на форуме о поисковых системах, а никто не в курсе что это такое ?
лучше уж Crawl-delay использовать http://help.yandex.ru/webmaster/?id=996567
который кроме Яндекса и пары-тройки других никто не понимает.
MajesticSeo так вообще будет долбить до посинения, и даже персональные просьбы в их поддержку не помогут. Только в бан по IP, которых очень много.