AnyTubes дорген

kxk, я уже отвечал по этому поводу, изначально он делался на sqlite, но были проблемы с использованием оперативки, поэтому был переписан на mysql

пробовал не помогает

http://plasmon.rghost.ru/7vwJyBqvT/image.png

http://higgs.rghost.ru/6WpmkhmmW/image.png

saimonyz, база данных должна быть тоже в кодировке UTF-8

Graffy, а по поводу крона

php /var/www/юзер/data/www/домен/cleaner.php

php /var/www/юзер/data/www/домен/gen_sitemap.php

правильно ставлю и на сколько каждый час что бы выполнил нормально ? да и какие права ставить на cleaner.php и gen_sitemap.php

root# php /var/www/юзер/data/www/домен/cleaner.php

PHP Warning: filectime(): stat failed for ./cache/temp_cache/mostpopular.data in /var/www/юзер/data/www/домен/cleaner.php on line 29

PHP Warning: unlink(./cache/temp_cache/mostpopular.data): No such file or directory in /var/www/юзер/data/www/домен/cleaner.php on line 31

PHP Warning: filectime(): stat failed for ./cache/temp_cache/best.data in /var/www/юзер/data/www/домен/cleaner.php on line 33

PHP Warning: unlink(./cache/temp_cache/best.data): No such file or directory in /var/www/юзер/data/www/домен/cleaner.php on line 35

а вот с gen_sitemap.php всё норм

root# php /var/www/юзер/data/www/домен/gen_sitemap.php

saimonyz, если gen_sitemap отрабатывает нормально, то и с cleaner все будет ок, я обычно крон ставлю через wget:

Graffy, можно как то сделать что бы не парсел такие видосы

http://plasmon.rghost.ru/6RPX45TZk/image.png

Так это же дор! пусть парсит себе на здоровье) таких страниц наверное не более 1% будет.

Дор должен сливать на партнерки а не видяхи юзерам показывать!

ps: еще со временем видяхи пропадают - вы с этим явлением тоже будете бороться?)

Пропадание видях более актуально на промежутке времени - пропавших будет больше.

---------- Добавлено 31.01.2016 в 19:37 ----------

Та хотя бы id видео - можно будет посмотреть, есть ли в отдаваемых данных по API, пометка о ограничении...

Если нет, то нет большого смысла с этим бороться)

Лучше сделать :

Так бодет больше на дор похоже и меньше нагрузка при поиске и релевантах - запишутся только те на которые был переход - зачем нагружать "сайт" и записывать в базу видяху когда ее даже смотреть не хотели?

Нужно писать только то, к чему было обращение. имхо конечно)

Смысла в этом почти нет, так как бот ходит почти по всем страницам, и они так же будут записываться.

Смысл есть и не маленький!

Можно напарсить id тематических роликов, именно тех что нужно, по нужной тематике!

Запихнуть все id в ссылки на файле сайтмап.html

При данной реализации все ссылки вернут 404

А если записывать в базу при открытии целевой страницы - то получим более гибкий и удобный дорчик!)

ps: смысл этого в том, чтобы основное наполнение дора было тем чем нужно а не всяким мусором!

Тогда пандора рулит.

А тут другой принцип: