BuyPost: Царь-бомба среди блоговых бирж

Проблема "0 страниц" взялась из-за неполадок в индексаторе. Завтра к 15:00 часам все должно стать на место.

Угу, особенно, когда нужно проверить несколько миллионов страниц.

Не совсем так как вы сказали, соответствие с рекомендуемыми ценами там сложное. Но по сути - да!)

Мерси)

- работаем))

- у нас посуточный биллинг, если все 300 ссылок по 10 рублей простояли бы месяц - было бы 3000р

- как писал выше - отлаживаем индексатор, скоро все будет отображаться корректно.

> Завтра к 15:00 часам все должно стать на место.

Давайте-давайте, 0 страниц в индексе в нескольких блогах совсем не радует.

> Угу, особенно, когда нужно проверить несколько миллионов страниц.

Ну, вы же не вручную их проверяете, правда?... 🚬

Если у вас хороший канал, и есть хотя бы десяток IP, запускаете скрипт-шарманку с регулярным выражением внутри, и вперёд, кофе пить. Работы на полдня, реально. На все тыщапятьсот блогов в вашей базе, ИМХО. :)

Вы же в курсе про капчу и про бан IP, правда?)) Каждый переиндекс мы делаем порядка 10 млн запросов к яндексу.

Капча и бан - не знаю. Яндекс, насколько мне известно, действует иначе - он выдает энное количество ответов на публичные запросы, за определенный промежуток времени, на 1 IP. Если превысить лимит, он перестает выдавать. Потом снова начинает, когда количество запросов на единицу времени становится, с его точки зрения, допустимым. Исчерпаете минутный лимит за секунду - будете ждать 59 секунд. Не помню точно, но по тИЦ он обрабатывал не меньше 10 запросов в секунду (пользовался десктопной утилитой собственного изготовления).

Если у вас, скажем, 20 тысяч блогов в системе, и необходимо проверить в среднем 25 страниц индекс-выдачи (~500 страниц на блог, по 20 результатов на странице, т.е. 25 запросов), вы сможете проверять один блог примерно за 3 секунды. 20 блогов в минуту, 600 в час, чуть меньше 40 часов - все блоги. Это с 1 IP. Если у вас хотя бы 16 IP, проверите довольно быстро. :-)

Но можно поступить иначе. В системе есть активные пользователи и неактивные. Если пользователь активен, ему необходимо частое обновление данных. Сделайте кнопку, по которой он сам, из браузера, со своего IP, запросит данные, и вы их получите, воспользовавшись его компьютером, как прокси-сервером. Кажется, ява-скрипт это позволяет сделать. Или нажмет на кнопку "Обновить показатели" и попросит ваш скрипт обновить данные его блога вне очереди. Тиц, PR, количество подходящих для размещения ссылок страниц, и т.д. Можете приделать к кнопке капчу, чтобы избежать атак - думаю, никто не будет возражать против её ввода. :-)

теоретики такие теоретики...

Давайте, Вы сначала попробуете снять индекс хотя бы для 100 сайтов сами (заметьте – индекс, а не ТИЦ, а так же еще пробить на КЕШ каждую страницу), а потом мы с вами уже предметно пообщаемся, хорошо?))

:)

А может не заниматься этим вечным процессом пытаясь подстроится под яндекс, у которого семь пятниц на неделе? Сегодня у него одна выпала другая в индексе, завтра все иначе. Сделайте для начала самое главное - чтобы система работала и продажи были! Последние месяцы только и слышно "индексатор-индексатор-индексатор" "тестим-заливаем-проверяем", чесслово уже устали от вас те, кто имел неосторожность вступить в. Продажи почти нулевые, но зато что ни день - то новый прикол от вашего робота...

Нет, ничего хорошего. :-) У меня нет таких проблем, чтобы бесплатно выковыривать 100 сайтов из кэша. Бесплатно я вам дам совет - как, по моему мнению, можно было бы сделать. Любые направленные телодвижения в сторону решения ваших проблем я готов делать только после предметного разговора.

Зрите в корень))

Если не "подстраиваться под Яндекс" - то продаж точно не будет, так как страницы "не в Яндексе" рекламодателям не нужны.

Мы не просим, чтобы Вы решали проблемы за нас. Я намекаю на то, что Ваши знания в этой сфере, увы, не адекватны реальности. В тоге Ваши предположения (советы) выглядят нелепо.

Нелепо выглядят не мои советы, а ваша неспособность реализовать простейшие алгоритмы в течении многих месяцев. То, что делается за недели, вы растянули на месяцы, и пока не сделали. Нелепо и неуважительно к пользователям выглядят остановки прокта на дни, когда повсеместно принято отлаживают новый код на тестовой площадке. Нежелание прислушиваться и обсуждать реальные алгоритмы решения при не самом высоком качестве реализации собственного проекта похоже на попытку посредственного специалиста удержаться на проекте любой ценой, представив простую задачу крайне сложной, огульно охаивая всех, кто может помочь, но чьи советы он не может, в силу слабой квалификации, использовать. Извините, но с таким подходом вы ещё долго будете ковыряться с этим проектом, хотя, конечно, хотелось бы ошибаться.