Autodor.Wmsn - дорген, генератор дорвеев на php.

R5
На сайте с 18.07.2008
Offline
111
#121
foxi:
Обновление Autodor.SQLite.Wmsn v.1.2 от 12 мая 2015:
- После парсинга и кеширования контент выводится сразу, а не после следующего захота.
- Оптимизация базы (транзакции) и кода для снижения нагрузки и увеличения скорости работы.
- Доработка скрипта ручного кеширования (меньше потребляет трафа, не выводя ненужного содержимого).
- Увеличена стабильность парсинга, если с первого раза не получилось спарсить - делает это в следующий раз.
- Добавлены макросы разбивки контента и поштучных фото (подробнее в info.txt)
- Добавлена возможость удаления отдельных страниц (подробее в info.txt)

Сделал несколько доров на autodor.sqlite.wmsn. Работает, но не возможно зайти на главную страницу, сразу идет переадресация на index.php?page=1.

Как убрать переадресацию, что надо изменить в скрипте?

one
На сайте с 15.04.2007
Offline
336
one
#122
Жаль контента мало парсит

Почему мало? Вполне достаточно. Одна проблемка есть, картинки.

Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.
Фома
На сайте с 10.11.2006
Offline
600
#123
one:
Одна проблемка есть, картинки.

А что с ними не так? Я всё равно ифреймом накрываю, там ничего и не видно. 🤪

Аренда апартаментов на Тенерифе (http://las-americas.ru/).
one
На сайте с 15.04.2007
Offline
336
one
#124
Фома:
А что с ними не так? Я всё равно ифреймом накрываю, там ничего и не видно. 🤪

Маловато парсит, бывает что не парсит совсем т.к. не находит "релевантных" картинок.

R5
На сайте с 18.07.2008
Offline
111
#125

Один из сделаных дорвеев на autodor.wmsn поработал несколько дней сегодня проверяю и вижу в браузере перекидывает на site.xx/#maxpage. Ответ страницы: "Неверное перенаправление на странице

Firefox определил, что сервер перенаправляет запрос на этот адрес таким образом, что он никогда не завершится.

Эта проблема может возникать при отключении или запрещении принятия кук."

P.S В настойках conf.php посттавил $maxpage = '1000' , дорвеей заработал, буду смотреть дальше

Фома
На сайте с 10.11.2006
Offline
600
#126

foxi, в black_key.txt должен быть полностью анкор? К примеру если там будет слово "своими", то "ремонт своими руками" пропустит?

---------- Добавлено 19.05.2015 в 17:23 ----------

Такс, вот что получилось. Смотрю в html коде, ссылки на эти страницы генерятся, пробую её открыть, редиректит на http://site.ru/#black_key

awmaster08
На сайте с 22.02.2008
Offline
155
#127
awmaster08:
Скрипт купил. Поставил на OpenServer на ноуте версию без SQL, чтоб пощупать. В файлах ничего не менял, только в конфиге настроил парсинг с bing. Ключи те, что в архиве при покупке были. Права на полный доступ для папки поставил.

В доре только страницы с ключами из key.txt без спарсенного контента. В папке page скрипт создал папки и файлы txt с ключами из key.txt.

Как его на парсинг запустить? Ведутся ли логи? Чуво он работать не хочет 😂

На OpenServer curl включен, но работать почему-то не хочет.

Поставил на Денвер SQL версию. Запустил генерацию, получил ответ, что генерация кеша завершена. Файл url.db 1700 Кб стал весить. Захожу на index.php?page=1 - белый лист. Screaming Frog говорит, что по этому адресу 500 ошибка. В чем проблема может быть?

[Удален]
#128

foxi, хотелось бы ЧПУ в скульной версии :))

Mik Foxi
На сайте с 02.03.2011
Offline
1164
#129
awmaster08:
На OpenServer curl включен, но работать почему-то не хочет.

Поставил на Денвер SQL версию. Запустил генерацию, получил ответ, что генерация кеша завершена. Файл url.db 1700 Кб стал весить. Захожу на index.php?page=1 - белый лист. Screaming Frog говорит, что по этому адресу 500 ошибка. В чем проблема может быть?

Cмотрите в логи, там все есть.

Фома:
foxi, в black_key.txt должен быть полностью анкор? К примеру если там будет слово "своими", то "ремонт своими руками" пропустит?

---------- Добавлено 19.05.2015 в 17:23 ----------

Такс, вот что получилось. Смотрю в html коде, ссылки на эти страницы генерятся, пробую её открыть, редиректит на http://site.ru/#black_key

не пропустит.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ Форум на замену серчу: https://foxi.biz/
awmaster08
На сайте с 22.02.2008
Offline
155
#130
foxi:
Cмотрите в логи, там все есть.

Разобрался, забыл шаблон в tpl.txt переименовать. Все спарсилось, все заработало. :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий