Странная работа индексатора SAPE или фиг вам вместо денег

WM
На сайте с 25.07.2002
Offline
137
1105

Есть несколько площадок в SAPE. Никогда особо не интересовался ERRORами - их вроде мало и время тратить было лень, а тут решил поглядеть.

Увидел странность. В спиcке ошибок были URL-ы сайта вида:

site.ru/ID1

site.ru/ID2

все URL-ы без конечного слеша "/".

Но на самом деле на сайте все страницы со слешем:

site.ru/ID1/

site.ru/ID2/

При этом ссылки SAPE на этих страницах размещаются и выводятся(!!!) скриптом, но проверяющий робот их не видит, т.к. по факту это не тот URL и робот пинается через 301 редирект на страницу со слешем.

В итоге рекламное место на сайте используется, рекламодатель имеет ссылку с сайта, но площадка не имеет за это оплаты, т.к. робот не подтверждает размещение ссылки.

Поддержка SAPE открестилась, ответив:

проверьте навигацию сайта, наш робот не умеет придумывать несуществующие урлы, во время индексации он проходит по всей навигации сайта

Однако, технических проблем на сайте нет. CMS везде генерирует правильные URL, со слешами (проверил все страницы и шаблоны, где выводятся спиcки статей). В sitemap.xml тоже правильные URL-ы.

К тому же, по логике, даже если на сайте действительно есть битые URL, робот перейдя на страницу с 301 редиректом, должен последовать по нему и добавить в индекс конечную страницу. У SAPE же получается, что робот добавляет страницу с 301 редиректом, продает с неё ссылки (на сайте они размещаются на корректной странице и индексируются поисковиками!), а оплату площадке не считает.

Это как-то странно. В интерфейсе SAPE нет способа исправить URL или добавить вручную - можно только исключить страницу, пройдя глазами по всему списку из тысяч URL-ов.

Господа, может кот-то подсказать что можно сделать? Техподдержка SAPE на вопрос что всё-таки в итоге сделать чтобы было всем хорошо не ответила, хотя сама должны быть заинтересована - им же их % не капает с таких ERROR-ов.

p.s. Если вдруг прочтут представители SAPE. Господа, а почему всё-таки у вас робот не умеет по 301 ходить? Элементарно же вроде бы.

* Партнёрки, с которых кормлюсь ( http://statievsky.ru/kak-zarabotat-v-internete/ ) * Увеличение дохода в SAPE! ( http://cmse.ru/?ref=b581a5e5 )
A0
На сайте с 22.03.2009
Offline
229
#1

сапа никогда и не добавляла 301 редирект в систему. видимо вы когда-то добавили без слэша УРЛ, продали ссылки, а уже потом сделали 301 редирект. отсюда и ерроры.

---------- Добавлено 09.11.2012 в 16:03 ----------

Со стороны Оптимизатора: я купил ссылку с определённой страницы. через время на ней 301 редирект появился. со слешем и без - это фактически разные страницы. По-моему всё верно...

Продвижение и поддержка сайтов. Актуальное конкурентное портфолио. ICQ - 407354474.
WM
На сайте с 25.07.2002
Offline
137
#2
alex063:
сапа никогда и не добавляла 301 редирект в систему. видимо вы когда-то добавили без слэша УРЛ, продали ссылки, а уже потом сделали 301 редирект. отсюда и ерроры.

---------- Добавлено 09.11.2012 в 16:03 ----------

Со стороны Оптимизатора: я купил ссылку с определённой страницы. через время на ней 301 редирект появился. со слешем и без - это фактически разные страницы. По-моему всё верно...

Вы не поняли. Я не делал 301 редирект. Его видит робот сапы при обращении по несуществующему URLу (его сам сервер пинает, что естественно, т.к. обращаются по URI без слеша в конце). Т.е. у меня всегда были те же URL-ы на сайте. Ничего никуда не перемещалось.

<!--WEB-->
На сайте с 25.01.2009
Offline
516
#3

WebMaster, у себя ошибку ищите. Робот сапы несуществующих урлов добавлять не станет, где-то у Вас на сайте нашёл.

Проверяю позиции сайта в сервисе Серпхант ( https://serphunt.ru ) – быстро, качественно, доступно! Почему я не всем отвечаю ( )
WM
На сайте с 25.07.2002
Offline
137
#4
<!--WEB-->:
WebMaster, у себя ошибку ищите. Робот сапы несуществующих урлов добавлять не станет, где-то у Вас на сайте нашёл.

Да вопрос даже не в этом. Пусть даже гипотетически и так.

Просто ещё, раз, смотрите: сапа в списке страниц сайта держит страницу без слеша. Продаёт с неё ссылки. Скрипт эти ссылки выводит(!!!) на странице со слешем на сайте. А сапа считает ERROR. Мне кажется здесь большой пробел. Т.е. либо уж ссылки не должны выводиться скриптом, либо индексатор должен исправлять у себя URL страницы на верный. Либо в интерфейсе давать возможность что-то сменить (хотя для больших сайтов это ад).

И уж точно если даже на сайте есть битая ссылка на страницу без слеша и индексатор по ней пошёл, то он не должен её добавлять в базу. Он должен пройти по 301, который делает сам апач, и добавить конечную корректную страницу в базу. А так получается, что он пошёл на страницу site.ru/ID1 и добавил её в базу, не смотря на то, что апач ему там 301 выдал. А страницу site.ru/ID1/, на которую стоят ссылки везде из списков и из sitemap.xml, он в базу вообще не добавил. Т.е. он каким-то образом считает, что это одно и то же, но держит в базе ошибочную. Вот в чём трабл!

Апокалипсис
На сайте с 02.11.2008
Offline
391
#5

WebMaster, Привет земляку :)

Работаю с sape практически со дня ее открытия. Такого не было. Проблема у вас.

Записки нищего (http://zapiskinishego.ru) - мой личный блог Услуги php программиста. Очень нужна любая работа. Не покупают? Поведенческий аудит интернет-магазина за 5000 руб. (/ru/forum/990312)
A0
На сайте с 22.03.2009
Offline
229
#6
А так получается, что он пошёл на страницу site.ru/ID1 и добавил её в базу, не смотря на то, что апач ему там 301 выдал.

Я выше писал, такое вряд ли может быть. Покажите тут пациента и эти добавленные страницы 301. Может быть только в случае, описанном мною выше.


Просто ещё, раз, смотрите: сапа в списке страниц сайта держит страницу без слеша. Продаёт с неё ссылки. Скрипт эти ссылки выводит(!!!) на странице со слешем на сайте. А сапа считает ERROR. Мне кажется здесь большой пробел. Т.е. либо уж ссылки не должны выводиться скриптом, либо индексатор должен исправлять у себя URL страницы на верный. Либо в интерфейсе давать возможность что-то сменить (хотя для больших сайтов это ад).

да не должно быть такого. где оптимизатор купил ссылку, там она и должна быть.

p.s. Вывод кода можно настроить, чтобы ссылки не выводились на странице со слешем.

MALCHUN
На сайте с 01.05.2009
Offline
71
#7

У меня тоже только ошибки не показывает и видит сапа одну страницу как две и получается я продаю по две ссылки с раницы не смотря на то что в настройках выставил до одного при том что поискоаик видит сайт нормально. Есть еще и другие глюки на других площадках к примеру с чпу да и вообще бот порой неадекватный так часто обращается к сайту что хостинг ложиться

Хуже ссылочной биржи (http://www.linkfeed.ru/reg/59860) Я не видел :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий