Андрей Воробьев

Андрей Воробьев
Рейтинг
22
Регистрация
12.11.2018
Должность
Программист
Mik Foxi #:
там раньше главный недостаток был в том, что то записи исчезали то глючил днс ответ и сайт не открывался.

Где-то читал когда-то про исчезновение записей, но я лично с таким не сталкивался, вы лично эту проблему наблюдали или как и я где-то читали об этом?

Эта проблема относится к текущему днс в яндекс коннекте или к уже закрытому днс яндекс пдд?

- ДНС от Яндекс коннекта, https://yandex.ru/support/connect/delegate-domain.html

- ДНС от Яндекс облака, https://cloud.yandex.ru/docs/dns/quickstart

- ДНС от Селектела, https://selectel.ru/services/additional/dns/

- ДНС от Майл.ру для бизнеса, https://help.mail.ru/biz/other/dns

- ДНС от Ник.ру, https://www.nic.ru/catalog/for-domain-use/dns-hosting/

Sly32 #:

Это не совсем ответ что я ждал или не понял. У тебя все загрузилось, ты кликнул кнопку - появилось окно с alert на js, мне надо кликнуть Ok. вроде я такое делал 2 года назад, когда собирал доки  по скважинам для одной компании, но подзабыл уже, что это было - Селениум. или Beautiful Soup, а то и комбинация

Если я правильно понял - яндексите webdriver switchto

Я потестировал на хромиуме kad.arbitr.ru:
- вручную зашел на сайт через браузер без автоматизаций, вручную ввел в поле текст,
вручную кликнул на кнопку найти, всё ок.
- открыл браузер с веб драйвер автоматизацией, открыл сайт, вручную ввел текст в поле,
вручную кликнул по кнопке найти, в итоге - ничего, вероятно, сайт детектит вебдрайвер.
- открыл браузер с chrome devtools protocol автоматизацией, открыл сайт, вручную ввел текст в поле,
вручную кликнул по кнопке найти, всё ок.

Если хотите именно через вебдрайвер, то надо разбираться как сайт его детектит,
либо просто сменить средство автоматизации на другое.

Vladimir #:

А смысл есть?  tracert - не проверяли? Не через Краснодар идет у большинства пользующихся инетом?

Севастополь, неотелеком

traceroute to crimeahost.com (195.3.246.75), 30 hops max, 60 byte packets
1  gateway (192.168.88.1)  3.198 ms  3.147 ms  3.122 ms
2  10.20.20.11 (10.20.20.11)  9.976 ms  9.966 ms  9.931 ms
3  nat30.neotele.com.ru (91.194.238.30)  9.863 ms  9.855 ms  9.822 ms
4  172.16.61.1 (172.16.61.1)  9.789 ms  9.755 ms  9.724 ms
5  ae20-1010.smfl-04-bpe1.miranda-media.net (178.34.178.93)  12.302 ms  12.269 ms  12.204 ms
6  * * *
7  178.34.157.234 (178.34.157.234)  8.630 ms 178.34.153.50 (178.34.153.50)  6.884 ms  10.422 ms
8  10.0.2.254 (10.0.2.254)  10.468 ms  10.416 ms  10.365 ms
9  10.0.2.158 (10.0.2.158)  10.310 ms  10.336 ms  10.284 ms
10  cpanel.webcreation.com.ua (195.3.246.75)  10.271 ms !X  38.445 ms !X  38.361 ms !X


traceroute to cloud-one.ru (212.110.158.30), 30 hops max, 60 byte packets
1  gateway (192.168.88.1)  16.412 ms  16.329 ms  16.291 ms
2  10.20.20.11 (10.20.20.11)  16.256 ms  16.221 ms  16.187 ms
3  nat30.neotele.com.ru (91.194.238.30)  16.151 ms  16.116 ms  16.079 ms
4  172.16.61.1 (172.16.61.1)  16.042 ms  16.009 ms  15.973 ms
5  ae20-2030.smfl-04-bpe1.miranda-media.net (185.64.47.229)  15.936 ms  15.900 ms  51.520 ms
6  cloud-one.ru (212.110.158.30)  15.820 ms xe-0-3-2-1013.SMFL-04-AR1.miranda-media.net (178.34.183.54)  8.556 ms  8.509 ms
7  cloud-one.ru (212.110.158.30)  8.515 ms  8.473 ms  8.431 ms

> А если и после fopen он исчезнет как быть? На каждую строчку писать условия проверки?

Да.

С таким подходом можно и тесты не писать - а зачем?

> Такое поведение не стандартное для движка и вызвано "третьей стороной". Поэтому делать ничего не нужно.

Но это же происходит не один раз, а периодически, с этим надо что-то делать - перенести кэш в мемкеш норм вариант.

Если на такое забивать, то когда-нибудь в потоке такого мусорного шума будет пропущено важное.

Готового не знаю.

Бесплатно - сделать самому автоматизацию на базе браузера.

Selenium webdriver (надо заморочиться, чтобы он легко не палился, что он webdriver) + firefox/chromium + php, nodejs, java, python, golang и т.д.

Еще можно автоматизировать просто chromium через chrome devtools protocol, есть библиотеки для node, golang, php.

Каптча автоматически решается через сервисы rucaptcha.com, captcha.guru и т.п. за небольшие деньги.

О, вот узнаю типичное хамское поведение на рунетовском форуме.

> Ничего страшного нет

Согласен

> нормальная работа

Нет, предупреждения по возможности надо исправлять, но это не критично, да.

> А glob по вашему что делает? Из воздуха этот файл берёт?

Во время работы glob файл есть, когда работает fopen файла уже нет.
Такую ситуацию file_exists перед fopen отловит, если нет - то проверка результата fopen на false.


В коде явно напрашивается в `if` добавить проверку на наличие файла,

что-то типа `if ($files and array_key_exists(0, $files) and file_exists($files[0])) {`

+ проверить результат `fopen` на `false`.

Проверьте, может в новой версии cms/расширения это уже реализовано,

если нет, то напишите разработчикам и скиньте им этот лог с предупреждениями.

У меня работает, у вас какая-то локальная проблема.

$ bin/chromedriver --version
ChromeDriver 81.0.4044.138 (8c6c7ba89cc9453625af54f11fd83179e23450fa-refs/branch-heads/4044@{#999})

$ bin/chromedriver --port=7010 --whitelisted-ips=127.0.0.1
Starting ChromeDriver 81.0.4044.138 (8c6c7ba89cc9453625af54f11fd83179e23450fa-refs/branch-heads/4044@{#999}) on port 7010
Remote connections are allowed by a whitelist (127.0.0.1).
Please protect ports used by ChromeDriver and related test frameworks to prevent access by malicious code.
^C

$ ~/.local/opt/chromium-portable/chrome --version
Chromium 82.0.4057.0

В моем случае это совместимые версии хромиума и хромдрайвера.

На питоне, вероятно, работает потому-что библиотека самостоятельно выкачивает все необходимое с правильными версиями и зависимостями.

> Вроде запустился да? (Я кстати хч почему Starting ChromeDriver

> 76.0.3809.68 не соответствует тому номеру что я скачал)

Может быть, стартует не тот хромдрайвер, а какой-то другой?

> unknown error: Chrome failed to start: exited abnormally

Может быть, стартует какой-то не тот хром?


У вас, скорее всего, разъезжаются версии хромдрайвера и хрома. Изучите это внимательнее.

12
Всего: 12