Mik Foxi

Mik Foxi
Рейтинг
1218
Регистрация
02.03.2011
one:
Можно уточнить, несколько - это сколько? Примерно. )

10-20 секунд.

stars:
Можно ли прикрутить функцию чтоб перед парсингом снипетов и тд. (по своим ключам) был фильтр который бы удалял из ключа нежелательные слова для парсинга, а кей на доре бы выводил полностью.
пример
"скачать бесплатно без регистрации аимп 3" а на парсинг контента отдавало "аимп 3" .

так в базу загоняйте в чистом виде. а в шаблоне в нужных местах дописывайте "скачать бесплатно без регистрации"

awmaster08:
На OpenServer curl включен, но работать почему-то не хочет.

Поставил на Денвер SQL версию. Запустил генерацию, получил ответ, что генерация кеша завершена. Файл url.db 1700 Кб стал весить. Захожу на index.php?page=1 - белый лист. Screaming Frog говорит, что по этому адресу 500 ошибка. В чем проблема может быть?

Cмотрите в логи, там все есть.

Фома:
foxi, в black_key.txt должен быть полностью анкор? К примеру если там будет слово "своими", то "ремонт своими руками" пропустит?

---------- Добавлено 19.05.2015 в 17:23 ----------

Такс, вот что получилось. Смотрю в html коде, ссылки на эти страницы генерятся, пробую её открыть, редиректит на http://site.ru/#black_key

не пропустит.

awmaster08:
Скрипт купил. Поставил на OpenServer на ноуте версию без SQL, чтоб пощупать. В файлах ничего не менял, только в конфиге настроил парсинг с bing. Ключи те, что в архиве при покупке были. Права на полный доступ для папки поставил.

В доре только страницы с ключами из key.txt без спарсенного контента. В папке page скрипт создал папки и файлы txt с ключами из key.txt.

Как его на парсинг запустить? Ведутся ли логи? Чуво он работать не хочет 😂

Логи самого вебсервера - самые лучшие логи )

Если не спарсилось вообще ничего (ни контента, ни новых кеев, ни картинок) - значит парсинг, работающий на php curl у вас не работает. Что там на виндовс сборках предустановлено из ПО и модулей не в курсе, помочь не могу в этом.

Teppa:
Дэдики нужно обслуживать или держать сис.админа на сдельной основе и что самое главное, уровень обязанностей и головных болей в разы больше, по этому в итоге обойдется дороже.

а облако обслуживать никак ее надо? 🤪

на дедике разово настроить мониторинг дисков, раз в пол года запускать комманду обновления софта.

zzzit:
А может лучше хостерам повнедрять у себя Swift, чтобы предлагать облачные сторейджи и перестать жить прошлым?
Использовать голые дедики под сторейджи в наше время не очень хорошая идея.

Это отличная идея, а еще экономная, простая и удобная. 500 гб и меньше - облака и прочие амазоны подойдут. если больше - дедики будут идеальны.

соседи по вайфаю снифать смогут все. очень легко. если передача идет не по https.

взять за 5 баксов впн. у инферно например. и работать спокойно.

и не бояться соседей, халявного вайфая в метро или в турции.

dyakoff, заказал новый.

dyakoff, там нет данных.

rb5afj:
Каккой скрипт потребляет больше ресурсов autodor.sqlite.wmsn или autodor.wmsn приблизительно на одинаковое количество страниц

sqlite будет легче. он меньше расходует оперативку (а если сравнивать с расширенным парсингом, то значительно меньше оперативки), не создаем проблем с файловыми дескрипторами и прочими инодами.

Всего: 17716