Кроме того, это хороший шанс заработать санкции от поисковиков.
От Яши в частности. Как он должен по вашему реагировать на десятки тысяч нетематических ссылок (Да еще и появившихся за очень короткий срок)?
У меня, похоже, подобная проблема с сайтом. Позиции обвалились, тИЦ порезали :(
Подведу итоги своего двухмесячного участия в системе:
1. В качестве вебмастера
минусы:
Цена ссылок очень низкая. Особенно за ПР0.
Интерфейс тормозит жутко. В результате управлять практически невозможно.
ПР страниц определяется неверно. В результате страницы с высоким ПР продаются как ПР0. Отловить несколько десятков таких страниц и ручками обновить ПР нереально т.к. ссылок болле 15000.
Паук работает криво (когда вобще работает). К тому же он постоянно валил базу на моей площадке и сайт становился недоступен.
Реально заработать проблемы с Яндексом (бан, фильтры, выпадение страниц из идекса).
плюсы:
Можно быстро продать огромное количество ссылок. И в результате получить ощутимый доход за короткое время.
2 Как рекламодатель
Очень медленный интерфейс.
Ограниченые возможности управления рекламной компанией.
Сложно обеспечить тематичность ссылок.
Болшое количество откровенно помоечных сайтов. Монгие ссылки размещаются на страницах непроиндексированых поисковиками. В результате за два месяца беков набралось %20 а то и меньше.
Низкая цена ссылок.
Можно очень быстро купить большое количество ссылок (если не волнует тематика).
Неплохой эффект по СЧ и НЧ (хотя, при таком количестве ссылок должен быть гораздо лучше).
Взвесив все за и против, я решил снять свою площадку.
Как рекламодатель пока остаюсь (заработаных ксапов хватит на первое время).
Мои советы создателям ХАР:
Переводите базу на другой движок (например Оракл). MySQL не предназначен для баз с таким количеством записей. И тут не помогут никакие репликации и рейд-массивы. Возможно допущены серьезные просчеты при проектировании базы (индексы, нормализация и т.п.). Наймите хорошего специалиста по БД.
Делайте кеширование ссылок на стороне клиента. Думаю, уже понятно, что идея с серверами фикс. выдачи не оправдалась.
Улучшайте интерфейс: Обязательно сделайте поиск в ссылках (хотябы по тексту ссылки и УРЛ страницы). Просто невозможно найти вручную одну ссылку среди десятков тысяч.
Дорабатывайте паука. Паук не должен создавать очень высокую нагрузку на сайты. Тогда ссылки будут нормально находиться (не будет ошибочных "скрыта" и "таймаут"). Мало какой сайт выдержит несколько тысяч обращений за 2 минуты.
Еще много чего мог бы сказать... Может в следующий раз...
Желаю успехов.
Поднимайте уровень технической реализации до уровня маркетинга ;)
Для облегчения работы базы данных, предлагаю сделать поиск определенной ссылки или определенной страницы. Тогда вместо листания десятков страниц со 150 ссылками каждая (в поисках нужной), можно сделать всего один запрос.
Станет легче ВМ и базе. :)
Вобще делали анализ, какими запросами грузится база? Сделайте и оптимизируйте те места.
Ну наконецто! Может теперь он не будет валить мне базу.
И ссылки найдет все а не 30%.
Попробую пустить паука, посмотрю, что будет.
Паук работает очень плохо потому, что он пытается делать одновременно большое количество запросов к одному сайту.
В результате на 10-20 запросе исчерпывается лимит одновременных подключений к сайту (или базе данных на сайте) и паук получает страницы с сообщениями об ошибке. Естественно он не находит на этих страницах нужных ссылок.
Например на моем сайте паук пытался за 5 минут проверить более 1000 страниц. В результате около половины из них ушли с ошибкой. Зачем паук так спешит? Если проверять 1000 ссылок за 15-30 минут и равномерно распределять запросы во времени, то все страницы проверятся нормально и ссылки найдутся. Еще проще просто ограничить количество одновременных обращений паука на уровне 10-15.
Как в логах виден робот XAP? Не могу понять.
Похоже, именно XAP валит мне сайт. Точнее базу mySQL, количество соединений с которой ограничено хостером.
Для сохранения работоспособности сайта в целом, пришлось временно запретить роботам ползать по половине страниц. :(
Пришел ответ от Платона :
Я в шоке 😮
Яндекс научился вычислять XAP?! Сильно сомневаюсь...
<!--XAP--> <a href="">Ссылка</a> | <a href="">Ссылка</a> <!--/XAP-->
Таких вещей не допускал :)
Код страниц совершенно чистый.
Похоже, Яндекс среагировал на резкое увеличение ссылок с сайта. (8000 за 2 недели).
На каждой странице стоит всего по одной ссылке.
Хочется всетаки понять что произошло...
Мой сайт, за XAP, забанили (пессимизировали) в Яндексе!?😕
Ситуация:
Сайт состоит из 20000 страниц. Естественно большая часть внутренних имеет PR0 и на них активно размещаются ссылки от XAP. Размещено уже около 8000. Причем мне не нужно такое количество, темболее с такой скоростью.
В результате примерно через две недели с начала размещения ссылок сайт практически пропал из выдачи Яндекса.
Ответа от Платона пока нет, но подозреваю, что причина в том, что:
1. Ссылки не соответствуют контексту.
2. За короткий период появилось большое количество ссылок.
Формально Яндекс даже, наверное, прав. :(
Выводы:
1. Размещение кода XAP потенциально опасно для сайтов с большим количеством сраниц.
2. Надо предусмотреть возможность, для вебмастера, ограничивать скорость размещения ссылок и общее их количество.
3. Для рекламодателя ценность ссылок, с забаненых или пессимизированых сайтов, тоже довольно сомнительна.
Что теперь делать не понятно. Хоть удаляй сайт из XAPa. :((
Дождусь ответа от Платона и тогда решу....
