Все вопросы по бирже ссылок Sape.ru - VI

Очень спорная настройка. А если хороший новостной сайт напишет статью по медицине, которая частично попадет под ваши стоп-слова, обделять его? Такая настройка только усложнит и без того сильно загруженный интерфейс, а пользы даст крайне мало. А вот по предыдущему улучшению можно продолжить обсуждение в личке, если есть желание и появилась возможность)

НУ спорно, так спорно.

Однако, я же сам себе на проекты фильтры настраиваю. И в рамках фильтра список стоп-слов, которые меня не устраивают, а почему бы и нет?

Есть же настройка в фильтре ключевых слов, а почему не сделать обратное?

Я просто предложил, т.к. кол-во парсееных сайтов зашкаливает. И если среди них под "не будующий новый фильтр " пападется мордатый новостной по "народной медиицине", я жалеть не будут. Лучше потерять одиного пузыристого, чем прикупить пару сотен ГС.

Ну раз нагрузки. Будто нагрузку фильтр "ключей" не создает.

Один МУ рассказал толпе как надо зарабатывать 1000 у.е. на САПЕ, а толпа ... нафигачила "кройка и шитье", что фильтруешь по медицине, что по туризму, что по любой другой тематике - фильтруй не фильтруй, все равно получишь каждый второй сайт по шитью, нытью и выкройки.

P.S. продолжим по первому, звоните.

Отжиг от поддержки сапе:

То есть сапе как бы не отрицает, что с некоторых сайтов она запрашивает более 400 страниц за одну секунду при проверке ссылок...

Dweep, вы просмотрели статус каждой из 900 ссылок?

Dweep, робот очень спешит, сайтов в системе много, медлить нельзя. Но вообще он прав, я здесь давно писал об этой проблеме, только там не 900 ссылок было, а несколько десятков за одну секунду.

Небольшой баг нашел. Сапа начала показывать внешние ссылки для страниц как <Естественные> ссылки и Ссылки из системы. Но, оказывается, если ссылка сапы куплена на http://site.ru/page/ , то для страницы http://site.ru/page (без конечного слэша) она почему-то становится "естественной", хотя показывается на обеих.

Статусы все: страница возвращает http-статус, отличный от 200.

При ручной проверке страница работает нормально... и учитывая что эроры в один день есть. в другой день нет, раз на одних страницах, другой раз на других.... я делаю вывод что сайт не вытягивает нагрузки от бота sape.

Сейчас прошла дневная проверка, все эроры исчезли... но через несколько дней опять появятся.

Думал, что у меня одного эта проблема, на форуме сапе тишь да гладь по этому поводу. После НГ тоже эта проблема началась - страница возвращает http-статус, отличный от 200.

В сапе я давно, кол-во ссылок кординально не менялось, и постоянно стало часть ссылок в ошибках. Кстати, сколько раз робот сапе приходит на перепроверку за сутки? С утра куча ошибок, после 4 часов уже меньше, но все равно все ссылки не может перепроверить, сайты падают( А ведь совсем недавно все нормально было. Пишу каждый раз вечером в саппорт, чтобы еще раз прислали робота.

freemangamer, судя по симптомам вам помжет переезд на более мощный хостинг.

А что изменилось в плане проверок? Если эти хостинги (джино и мажордомо) 3 года все выдерживали, а тут мне после НГ такой сюрприз на ровном месте, учитывая то, что кол-во ссылок кардинально не изменилось, даже немного уменьшилось.

freemangamer, из моего опыта скажу что указанные вами хостинги уже не раз блокировали нашего робота за частые запросы. Также почему вы думаете что изменения произошли на нашей стороне, а не на хостинге ?

Массовых ошибок по системе я сейчас не наблюдаю, наоборот, ежедневные значения ниже средних.

Раз ночью при полной проверке у вас появляются, а при последующих частичных ошибки пропадают это также указывает на хостинг.

Для точной причины нужен пример.