Подал заявку на верификацию 15го числа... скажите сколько еще ждать апрува ? Какой сейчас в среднем срок прохождения ?
Для CURL редиректа хорошо было сделать кеширование с ограничением обновления по времени.
Это значительно ускорит работу и снимет нагрузку на сервер.
Зачастую дергать для каждого юзера сайт через CURL нет необходимости, можно задать период обновления страницы на сайте по времени а в промежутках отдавать сохраненную в кеше копию.
Проще всего чрез вебмастер заказать принудительную индексацию.
У вас проблемы с сайтом. Не открывается.
Пингвин стандарт при запуске выдает ошибку (до этого пол года норм работал)
вот такую http://joxi.ru/12M94lMs4pOR82
проверил на других компах аналогичная история.
Удалял и ставил с нуля не помогло.
Предлагаю для фильтрации spy ботов добавить еще проверку на установку кукисов. Что бы при перовом заходе ставилась кука с временем жизни 1 минута и делался редерект 301 на этуже страницу и проверялось установилась она или нет. Боты зачастую куки не могут хранить.
Еще как дополнение можно сделать проверку на кеширование картинок в браузере, это боты тоже не умеют зачастую делать. Они практически все каждый раз грузят картинки по новой, если дать боту html страничку на которой будет картинка в 1 пиксель то он ее будет грузить и если при второй отдаче одной страница была прогрузка картинки то скорее всего это бот.
Для редиректов очень хочется что бы был CURL редирект с возможностью замен в коде страице "на лету" что бы можно было задать список замен и скрипт после получения страницы проделылвал замены и отдавал юзеру уже обработанную страницу (что то типа web-proxy)
Добавьте пожалуйста в Макросы еще один [UserAgent] что бы была возможность передать в урле.
Из того что есть в паблике сейчас по данной тематике этот шаб оптимальное решение для новичков. Если для старта и знакомства с темой нужно с чего то начинать этот вариант рекомендую.
Подскажите кто в курсе. Пингвина можно как то настроить что бы парсил емейлы с текстовых файлов ? Что бы не просто строки с мылами вытягивал, а именно только чистые мыла доставал.
Проблема в том что окружение у мыл может быть любое и настроить удаление всего кроме мыла проблематично, а как сказать проге удали в строке все кроме вот этого непонятно.
Вобщем нужно что то типа ePochta Harvester но такоеже шустрое как Пингвин.
обычно нужно отлавливать в ручном режиме на тдс их там немного.---------- Добавлено 25.09.2017 в 14:53 ----------
сколько времени займет доработка ?
Было интересно увидеть фильтры по Hostname(DNS) и ISP(провайдер)
Так же в плане фантазий на будущие встроить в ТДС фильтрацию по отпечаткам браузера, что бы отлавливать модеров и хитро-ботов что прочеком лендов занимаются.
https://browserleaks.com/webrtc
https://browserleaks.com/webgl
https://browserleaks.com/canvas
https://browserleaks.com/fonts
Планируете встроить в ТДС фильтр по провайдеру ? в кейтаро есть такой очень помогает модеров от ФБ и других продавцов трафика отлавливать.
