У меня такое впечатление что прога стала сбоить... Раньше я вообще в ЦПО не заходил. С месяц назад прога стала иногда пропускать шлак. А сейчас она блокирует все что угодно ( в 99% норм. объявы) а суставы и биланы прохдят.
Я подумал что слишком раздул список стоп слов (более 400). Сократил его до 20 - не помогает. Суставы проходят.
v3.6. Щас обновлюсь до последней версии и будут наблюдать - отпишусь потом.
Лет 5 назад я купил тут на форуме услугу - ссылки на сайт из профилей юзеров с .gov сайтов. В итоге получил с десяток ОТКРУТЫХ для индексации и без нофолоу ссылок, которые живы до сих пор. Толку т них я не заметил.
foxi: Нет, это будет на порядки дольше, т.к. картинки не сожмутся, т.е. объем передаваемых данных не уменьшатся. На обычных hdd (врятли у тс ssd таких размеров) запаковка/заспаковка займет хз сколько дней.
Будет однозначно быстрее, проверено много раз. Смысл ведь не в том чтобы уменьшить размер, а в том - чтобы не делать запросы на прием/передачу для каждого из много тысяч файлов.
Запаковка 25 гигов вот букально недавно командой tar -cvf 1.gz /var/www заняло примерно 15 минут.
У меня есть список подсетей реальный поисковых ботов. Он уже хорошо обкатан и используется почти 2 года - переменная $whitelist
Я хочу создать условие если запрос НЕ ИЗ подсетей поисковиков, но при этом по юзерагенту максируется под поискового бота - то отшить его 503 ошибкой.
Итого проверям:
$whitelist = 0 (подсеть НЕ поисковыйх ботов)
$http_user_agent = поискового бота.
---------- Добавлено 26.06.2018 в 08:59 ----------
К примеру этот map отлично работает и есть еще много других услугих условий, которые нормально работают.
default 0;
"0:HTTP/2.0" 1;
}
Так тоже не сработало
default 0;
"0:~yahoo" 1;
"0:~yandex" 1;
"0:~google" 1;
"0:~msnbot" 1;
"0:~bingbot" 1;
"0:~mail" 1;
}
Запрос с другого ВПС в Германии дал ответ 200, а должен 503
P.S.
return 503;
}
где нужно прописано...
В смысле у вас на сервере более 50 ГБ RAM?
Написано же выше - 64 GB DDR4
ТС - покажите настройки в my.cnf
А что в причине блокировок нормальных указано?
ТАм все нормально - цепляется за слова и домены, но как правило объявления нормальные. Слишком раздут список стоп слов... Буду сокращать
app новая версия начала ловить гадов нормально, так что не забывайте обновляться!
У меня такое впечатление что прога стала сбоить... Раньше я вообще в ЦПО не заходил. С месяц назад прога стала иногда пропускать шлак. А сейчас она блокирует все что угодно ( в 99% норм. объявы) а суставы и биланы прохдят.
Я подумал что слишком раздул список стоп слов (более 400). Сократил его до 20 - не помогает. Суставы проходят.
v3.6. Щас обновлюсь до последней версии и будут наблюдать - отпишусь потом.
На будущее - все ответы в логах. Ищите запрос к данному файлу - запомнаем IP, отматываете чуть на раньше и уже по его IP смотрите как он это делает.
Лично мне пару раз помогала вот такая простенькая защита
/ru/forum/900084
scatters.ru Вулканы
Лет 5 назад я купил тут на форуме услугу - ссылки на сайт из профилей юзеров с .gov сайтов. В итоге получил с десяток ОТКРУТЫХ для индексации и без нофолоу ссылок, которые живы до сих пор. Толку т них я не заметил.
Нет, это будет на порядки дольше, т.к. картинки не сожмутся, т.е. объем передаваемых данных не уменьшатся. На обычных hdd (врятли у тс ssd таких размеров) запаковка/заспаковка займет хз сколько дней.
Будет однозначно быстрее, проверено много раз. Смысл ведь не в том чтобы уменьшить размер, а в том - чтобы не делать запросы на прием/передачу для каждого из много тысяч файлов.
Запаковка 25 гигов вот букально недавно командой tar -cvf 1.gz /var/www заняло примерно 15 минут.
Повторюсь - смысл не сжать, а объединить!
Я и поболее переносил с помощью команды mc
Сервера были оба в Германии (хоть и разные хостеры) скорость была около 100 мб/сек
Но быстрее все же будет сделать архив и перести его - чем отдельно каждый файл.