kxk: Himiko, Можно тупо обновлять кеш через 3 часа после прихода бота + проверять по md5 размер файлов links.db раз в x времени, если он обнорвился тиакже бросаем кеш и создаём по новой у сайтов где он изменился, не решаемых задач не существует, существуют неграмотные хозяева :)
Да вы батенька извращенец, однако :)
Это явно не для сапо-сайтов, которых сотнями бывает на аккаунтах. Всякие сверки md5 и прочее.
kxk: Himiko, Я кеширую на 3 часа и обновляю кеш на основе изменений, те страница xxx.html сайта kxk.net.ru изменилась, окей сбрасываем ей кеш и делаем новую в кеше, приходит бот сапы, сбрасываем кеш сайтам до которых он докопался и после того как отстанет вновь кешируем :)
Интересно, как ты скажешь nginx'у, что новая ссылка сапы появилась на сайте.
netwind: Igoron, не у нее, К НЕЙ. как вообще должен работать фильтр, чтобы допустить такую тупую ошибку? там что "ддосеров" внутри своей сети ищут ? или имеются ввиду обратные соединения для проверки ссылок от сапы на сайт?
Сапа создаёт сама кучу коннектов к сайту. Как раз бот ходит по сайтам, а не с сайта коннекты идут. Могу сказать, что гугл (при очень дикой скорости сканирования) не создаёт такое количество коннектов разом.
Я так и делаю - не помогает!
У меня прокатило)
Кстати, у вас при наведении на графу "ip-адрес" показывает IPv6 или нет? Вот я такое заметил.
Можно передать нам и продлять по 150 рублей автоматически через биллинг isp.author-media.ru :)
Himiko, Можно тупо обновлять кеш через 3 часа после прихода бота + проверять по md5 размер файлов links.db раз в x времени, если он обнорвился тиакже бросаем кеш и создаём по новой у сайтов где он изменился, не решаемых задач не существует, существуют неграмотные хозяева :)
Да вы батенька извращенец, однако :)
Это явно не для сапо-сайтов, которых сотнями бывает на аккаунтах. Всякие сверки md5 и прочее.
P.S.: Ладно, не будет засорять чужую тему.
Himiko, Я кеширую на 3 часа и обновляю кеш на основе изменений, те страница xxx.html сайта kxk.net.ru изменилась, окей сбрасываем ей кеш и делаем новую в кеше, приходит бот сапы, сбрасываем кеш сайтам до которых он докопался и после того как отстанет вновь кешируем :)
Интересно, как ты скажешь nginx'у, что новая ссылка сапы появилась на сайте.
ProTeg, Я встречался, сверху ставлю обычно кеширование на nginx и обновление кеша по TTL :)
И какой толк?
Сапа зашла скажем утром и создала нагрузку. При этом кэш создался. Зашла вечером, а время жизни кэша уже кончилось, снова нагрузка.
Или ты на сутки кэшируешь? Тогда новые ссылки не попадут в него.
Могу сказать, как это решается.
Если создавать под юзером домен, то нет проблемы. (нужно этот ip назначить при создании пользователя)
Сервер VDS c двумя IP.
Да хоть 500 ip-адресов. Почта идёт с основного ip.
Himiko добавил 14.07.2010 в 17:21
Больше полугода работало все отлично, а сейчас вот такая ерунда.
Ужесточили. Раньше такого не было, сейчас несколько человек спрашивали про подобные проблемы.
т.е. не возможно чтоб одновременно работали сайты и дозваниваться в службу поддержки? :D
или я чего то не понял?
Скорее, если серьёзные проблемы, то телефон и без вас обрывают) Да и отвечать постоянно на телефон может не быть времени.
Хм, если домен уже не работает или удален, он должен сам удаляться с панели.
так например делает reg.ru
Скажем, если аккаунт не активен, то да.
А если владелец сайта скажем временно сменил dns на другие или ещё не сменил на нужные? Тоже удалять?
Igoron, не у нее, К НЕЙ. как вообще должен работать фильтр, чтобы допустить такую тупую ошибку? там что "ддосеров" внутри своей сети ищут ? или имеются ввиду обратные соединения для проверки ссылок от сапы на сайт?
Сапа создаёт сама кучу коннектов к сайту. Как раз бот ходит по сайтам, а не с сайта коннекты идут. Могу сказать, что гугл (при очень дикой скорости сканирования) не создаёт такое количество коннектов разом.