- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
который кроме Яндекса и пары-тройки других никто не понимает.
MajesticSeo так вообще будет долбить до посинения, и даже персональные просьбы в их поддержку не помогут. Только в бан по IP, которых очень много.
ну собственно и я так думаю, что чем тысячами отлавливать, и банить, проще решить кто хороший и добавить в белый ...
все не нужны, и вот например что вот это за зверь MajesticSeo - я понятия не имею и на сайте он мне не нужен (кажется :) )
тема то злободневная http://mastertalk.ru/lofiversion/index.php/t87909.html
Уважаемые хостеры обратите внимание !
Guru911 добавил 20.06.2011 в 20:23
http://www.google.com/support/a/bin/answer.py?hl=ru&answer=60764
собственно смущает такое положение дел, как быть ? кто что использует ? Как ограничеть вредных ботов и при этом чтобы не было потом мучительно больно ?
http://www.google.com/support/a/bin/answer.py?hl=ru&answer=60764
вот, что показывает SPF Гугля:
216.239.32.0/19
64.233.160.0/19
66.249.80.0/20
72.14.192.0/18
209.85.128.0/17
66.102.0.0/20
74.125.0.0/16
64.18.0.0/20
207.126.144.0/20
173.194.0.0/16
SPF и роботы это разные вещи в общем случае.
Возможно, Гугль тут указал все свои сети.
iHead добавил 20.06.2011 в 22:06
вот еще
http://whois.arin.net/rest/org/GOGL/nets
говорю же надежные источники нужны, а то вместе с поисковыми ботами можно еще и трипер зароботать ... Из разряда - могу посоветовать что использовать в качестве root пароля ;)
Вообще это что сверхсикретная информация ?
Наш Анти-ддос накопил, фальш-позитивов нет, еще ни один поисковик не пострадал и клиенты делают отличное SEO. Для блеклиста возможно есть фальш-позитивы, но не для вайтлиста.
Можем трансляцию для IP дать в качестве таблицы.
Не сверхсекретная, но на ее накопления были затрачены деньги, силы и труд работников, потому оно стоит денег.
Наш Анти-ддос накопил, фальш-позитивов нет, еще ни один поисковик не пострадал и клиенты делают отличное SEO. Для блеклиста возможно есть фальш-позитивы, но не для вайтлиста.
Можем трансляцию для IP дать в качестве таблицы.
некий блек лист неких ботов, которые донимают ваш сервер - это не панацея
немного поясню некоторые хостинги, в частности АГАВА заявляют что общими правилами они отсекают скажем больше 3 соединений с одного айпи, а якобы все поисковики у них в вайт листе.
Проблема в том что если поставить сканер больше чем на три потока, на моей стороне действительно режутся соединения. В течении полугода проблемы с индексацией на большом сайте, через раз (примерно раз в две недели) вываливается из выдачи половина сайта.
Озоботились своим сервером, а по ходу никто и не знает что можно создать белый лист роботов ...
Мдя ...
Вы немного не так поняли, он у нас вайтлист и пускает всех ботов поисковиков без ограничений.
Касательно трех соединений - это ужасная практика, от реального ддоса не спасет, а проблемы всем браузерам дадут еще те.
Вы немного не так поняли, он у нас вайтлист и пускает всех ботов поисковиков без ограничений.
по чем продаете?
Вы немного не так поняли, он у нас вайтлист и пускает всех ботов поисковиков без ограничений.
Касательно трех соединений - это ужасная практика, от реального ддоса не спасет, а проблемы всем браузерам дадут еще те.
три это я условно, может больше 5 не суть важно ...
Но если вы говорите что это плохая практика, то какой смысл в вашем вайт листе ? как вы от плохих ботов то защищаетесь ?
Я вот такой список сетей поисковых ботов использую.
Собирал его год назад на основе поиска по интренету и просмотра своих логов.
77.88.0.0/18 yandex
87.250.224.0/19
93.158.128.0/18
95.108.128.0/17
213.180.192.0/19
64.68.80.0/21 google
64.233.160.0/19
66.102.0.0/20
66.249.64.0/19
72.14.192.0/18
209.85.128.0/17
216.239.32.0/19
67.195.0.0/16 Yahoo
69.147.64.0/18
72.30.0.0/16
74.6.0.0/16
81.19.64.0/19 rambler
94.100.176.0/20 mail.ru
94.100.181.128/25
195.239.211.0/24
217.69.134.54/24
217.69.136.0/23
65.52.0.0/14 Microsoft Bing.com
207.46.0.0/16
194.67.18.0/24 aport
66.231.188.0/24 Gigabot или Gigablast
88.212.202.0/26 Liveinternet
77.91.224.0/21 Webalta
208.115.111.248 dotnetdotcom.org
208.115.111.245 dotnetdotcom.org
88.131.106.0/26 entireweb.com
213.67.191.33 www.majestic12.co.uk/bot.php?+
85.17.211.164 puritysearch.net
188.40.108.196 sape.ru
80.70.236.75
85.175.212.141
217.107.36.73
217.107.36.132
81.177.144.46
87.242.74.101
80.251.136.38
93.191.15.77
93.191.15.81
188.72.80.0/24
Вот что по этому поводу думает гугл:
http://www.google.com/support/webmasters/bin/answer.py?answer=80553
Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Это связано с тем, что эти диапазоны IP-адресов могут измениться, что создаст проблемы для веб-мастеров, которые установили к ним жесткую привязку. Наилучший способ идентифицировать доступ робота Googlebot - с помощью агента user-agent (Googlebot).
Стрим-защита или список с IP (не подсети)?
Про почем продаем. Кстати список 1397 оказался не полным, таблицу не ту смотрел, в общем IP много, очень много. Могут быть фальш-позитивы, но не для вайтлиста.
Чтоб не было фальш-позитивов, надо реалтайм систему использовать.