Использую уже три года + года два назад добавил к этому решению автоматическую проверку обратным днс запросом тех кто имел юзер агент нормального поискового бота но еще не был в белом списке.
За три года я обновил белый список раз 5 наверное не более.
ПОлет нормальный, 99% ботов идут лесом
Леня подсказал
label="Цена">([^>]+)</td>
А может тип поля сменить?
У меня сейчас поле mk_code -varchar(100)
Данные там хранятся так -
Больше 30 символов в поле нет
Первые 500 запросов прошли без проблем. Пока полет нормальный.
Купил IPV6 прокси и пошло дело... 100 р не те деньги...
Капчу поймал очень быстро... :( Даже меняя юзер агент на каждый запрос.---------- Добавлено 04.04.2020 в 14:23 ----------Нельзя ли использовать xml лимиты для этого?
mr.fox, спасибо,вот так сработало!
$image = getimagesize('https://site.ru/mstile-150x150.png');
var_dump($image);
mr.fox, попробовал
mr.fox, тоже самое, не решило проблему.
PHP Warning: file_get_contents(/mstile-150x150.png): failed to open stream: No such file or directory in /var/www/site/test.php on line 89
Ларчик просто открывался. Действительно Яндекс под видом webp сохраняет у себя jpg!
