Да, после настройки. На автомате не получится. Мне нужно забрать Dom, посмотреть где какие CSS селекторы и уже по ним могу заполнять поля. Selenium/Scrapy это неплохо умеют. такая настройка занимает от силы час под твой сайт. Как ни странно тут поможет неправильное формирование страницы - например одинаковые айдишники для элементов. Это затруднит парсинг но не спасет - я например тогда использую XPATH
Да, я при необходимости работаю с сессиями.
Как я уже говорил - я такое не делаю. Но подключить апишку, которая будет отсылать капчу на сервис распознавания несложно, потом делается скрипт. который имитируег действия по ккординатам на экране - не так уже и сложно. Сколько занимает разгадывание - не знаю, думаю секунды.
Теоретически да. Но я соменваюсь, что с этим имеет смысл заморачиваться.
По большому счету. можно заморочится и написать формирование страницы используя динамическое формирование классов для CSS селекторов, а обрабатывать их каким gulp/grunt. Тогда будет очень сложно зацепиться за жедметы на странице, даже XPATH может не помочь. Вообще чтобы бороться - нужно понимать как тебя могут парсить. Почитай что такое Selenium/Scrapy и как они работают. Тогда будет проще придумывать решение)
Я по другую сторону баррикад - зачем я вам буду рассказывать, как защититься от моих парсеров? ))) я за последние 3 месяца написал порядка 30 парсеров разных сайтов. Правда я не ломаю сайты и не использую закрытые данные, так что вашему сойту с моей стороны ничего не угрожает. Но из тог что я умею - ав никак не защититесь, если я поставлю целью заьрать все с вашего сайта. Регистрация, скрытые поля, JS-scripts - все это семечки))) Мой бот маскируется под пользователя, использует все нужные куки и заголовки, чтобы любой ваш детектор распознал его как обычного посетителя. Умеет входить как авторизированный пользователь. Умеет кликать на нужные кнопки - принять куки, подтвердить что не бот))) С капчей сложнее но и она обходится через сервисы. Даже и не знаю что реально поможет))) Некоторые советуют прятать инфу в shadowDome, но и это обходится, хотя если стандартный бот не предусматривает обход - не спарсит. Ну пока разрабы не поймут в чем дело)
Ты просто привык к вашей московской химии))). Я вот по прошестивии 2-х лет не могу сказать, что мне чего-то бклорусского не хватает; Всему нашел качественные заменители, включая молочку. А то что ты там схватил в Ашане в Варшаве какой-то сырок и он оказался так себе - не показатель. Одна и та же марка тут делает отличное молоко и ужасный йогурт. Сметана в цеорм так себе, но есть мара названий которые круче белорусских. Ну вот сгущенку не умеют делать - это факт. так ее никто уже не умеет делать кроме глубокского завода в Витебской обл. Распиаренная рогачевская - так себе на самом деле.
Если немного заморочится - то даже верификацию я напишу автоматическую, хочешь через почту. хочешь через смс...
Про сыр счас нервно дернулись голланды, боятся сравнения с фермером. Польская картошка - чудо, это я как белорус, выросший на кратошке говорю))) А фрукты... Почему то саженцы польских яблок пользуются особым спросом на востоке от Польши)))
Белорусский хлеб вкусный, но плесневеет за пару дней. И не потому что натуральный, а потому что в мука заражена плесневелым грибком. Мой любимый хлеб здесь - из лидловской пекарни, с семенами подслонечника, темный, в составе только натуральные ингридиенты - хранится раза в 3 дольше, просто из-за качественной муки. Похожая ситуация и с молоком. Когда мне теперт рассказывают сказки про натуральность колбас в российских магазинах - мне смешно. Просто стоит посмотреть культуру приготовления натуральной итальянской мортаделы и докторской из россии.
Мне проще было свою написать, чем грузить сторонние скрипты.
Я твою самописную капчу обойду, потратив пару часов на скрипт
Надо смотреть не в PageSpeed Insights а в глаза криворукому кодеру. 100К записей для SQL базы это вообще не о чем, через это проходили все и решений масса. Сейчас тебе прибегут советчики кэшировать - это конечно правильно, но сначала нужно оптимизировать работу с базой.
Для начала подумать про индексы таблиц, но тут нужно аккуратно, с пониманием что такое индекс и как он работает.
Потом оптимизировать запросы. Join - наше все, только не забывать что простой джойн даст декартово произведение. Поэтому думаем как именно сджойнить. Потом смотрим что мы забираем в запрос. Тем у кого итоговый запрос типа SELECT * FROM table JOIN bla-bla отрубаем руки и делаем SELECT table.id, table.name, table.color FROM bla-bla...Ну и можно посмотреть что за ORM используется - например основанные на active records в разы медленнее чем DataMapper.Recap: работать с грамотными специалистами
Нет. И извинятся не надо. Ты меня ничем не обидел.
Я и не планировал тебя обижать, мне просто интересно понять, чем ты занимаешься. Из того что я читаю - вижу попытки наклепать сайтиков под Адсенс. Мне и интересно - как это работает, я такой фигней последний раз страдал в 2008-09 примерно)
Для начала убедитесь, что точно этот конфиг обрабатывает указанный адрес
Никогда не видел такую директиву:
server_name '"$PUBLIC_DNS"';
Естественно обрабатывает - сам сайт хостится как полагается. Это не директива - там обычное имя домена передается через переменную и потом формируется нжинкс. Это автоматизация, там все хорошо. Неправильно работает секция static/ Точнее может и работает как надо, а проблема в амазоне, который не дает публичный доступ к папке со статикой.
