Просто на сервисе ссылка на который в стартпосте я не смог получить код 304. может не только ботам отдает 304, это не принципиально. разрабы сделали привязку к дате изменения новости в базе данных.
у меня DLE. статика меня не интересует, там все в порядке. Видимо двиг так устроен, что ориентируется на дату создания или дату изменения статьи, и отдает код 304 исключительно ботам поисковых систем, что хорошо. Но вот я задумал изменить похожие новости, кардинально их изменив, но бот переиндексировать страницу не хочет, ибо двиг считает что страница не изменилась и отдает 304, так как ориентируется на дату изменения статьи. Выходом для меня стало изменение даты редактирования всех статей на сегодняшнюю дату, это костыль, но за то не трудоемко и эффективно, и не надо лопатить код движка. Потом можно откатить и радоваться жизни.
хуже не будет, я это хотел сказать.
полная херня, в прошлом месяце отклонил 90% говноссылок, это примерно 900 доменов. полет нормальный, еще плюсует трафа даже, но я думаю это из-за работ на сайте.
я то знаю что и как парсить и чем, проблема в том, где искать страницы все для парсинга.---------- Добавлено 26.05.2019 в 10:02 ----------
по-моему, за такие ответы надо банить на форуме.
помню такое бывало уже (не показывались объявления) в марте 2018, я то же попадал вэту ситуацию, и да, пока в ТП не написал, ситуация не изменилась, так что пишите в ТП.
tmux в реале проще показался, спс. все прекрасно работает.
Сначала задаешь страницу для правила или регулярку типа *
Потом Ниже выбираешь Cache level, Выставляешь напротив Bypass. Теперь все что начинается ... не будет кэшироваться.
А клауд действительно косячит с картинками в кэше, просто не отдает картинку из кэша, это не повально, но встречается. это очень плохо.
вот так вот лихо блокировать ботов.
по поводу сравнения, сейчас просто на одном из сайтов юзаю клауд pro, может там еще настраивать надо что-то? вот и спрашиваю, что будет лучше в плане защиты от ботов.
ну, а если сравнивать с платной версией? и почему до тебя не допер до такого способа блокировки? я не троллю, просто интересно.
