добавление сайта в SAPE - возможные проблемы

stealthy
На сайте с 15.06.2006
Offline
69
1412

Возможно кому-то пригодится.

1. Обнаружил, что если отдавать боту SAPE зазипованный (сжатый через gzip) вариант страницы сайт в систему не попадет.

2. Попутно, когда решил для бота отключать сжатие, выяснилось, что бот сапы максируется в юзерагенте под Mail.Ru/1.0. Это несколько сбивает с толку и не совсем понятно зачем.

Рекомендации разработчикам Sape (неохота честно говоря регистрироваться на нескольких форумах, может они тут бывают и читают):

- в варианте серверного скрипта под Perl (а возможно и в других вариантах - не смотрел детально) было бы логично добавить свойство для настройки пути к файлу с данными, поскольку размещение PM и данных в одной папке - неправильно. Также это повысит гибкость при интеграции с другими системами.

- REQUEST_URI в ActivePerl под Windows обычно пустой. Понятно, что можно устанавливать параметр uri руками, но это лишние удары в бубен. Нужно устанавливать это свойство по дефолту исходя из других переменных окружения.

Twilight CMS (http://www.twl.ru): есть Free версия, очень проста и удобна в использовании. Консультирую по любым вопросам. Новый спорт - практическая стрельба (http://nikit.in) - не для офисного планктона.
stealthy
На сайте с 15.06.2006
Offline
69
#1

C "mail.ru" в UA я вроде погорячился, нашел наконец то в логе строку "SAPE.BOT".

Avelon
На сайте с 05.07.2004
Offline
319
#2
stealthy:
C "mail.ru" в UA я вроде погорячился, нашел наконец то в логе строку "SAPE.BOT".

напишите мне в личку плз свои рекомендации (чем подробнее тем лучше) - я передам программистам

спасибо!

stealthy
На сайте с 15.06.2006
Offline
69
#3

Avelon, я вроде в первом мессадже все написал. Можете просто копировать и отправлять.

Подтверждаю, что SAPE не умеет работать с gzip потоком. Сайты удалось добавить только после вычисления IP с которого вы ходите индексировать площадку и принудительной отдачи только ботам SAPE несжатых страниц. Что неправильно, некрасиво и неудобно. Доделывайте функционал.

NK
На сайте с 07.06.2006
Offline
23
#4

а я так и не смог добавить 1 сайт, который сделан на перле..

давал реквизиты тех.поддержки, сказали, что не смогут поставить, т.к. сайт на перле..

NK
На сайте с 07.06.2006
Offline
23
#5

дубль дубль..

stealthy
На сайте с 15.06.2006
Offline
69
#6

На Perl все нормально работает, мы взяли их модуль и подправили там одну строку чтобы задавать место куда падает файл с данными. А вызов прикрутили в виде сервиса к нашей CMS. Все работает корректно, тут не придерешься - ищите ошибку в своем коде.

Zlo_606ep
На сайте с 14.12.2006
Offline
129
#7

+1 к uri, я делал так $o['request_uri'] = $_SERVER['REQUEST_URI']; // или $REQUEST_URI если не пуст.

на счет gzip-a обычно нужно ориентироваться на заголовки клиента $_SERVER['HTTP_ACCEPT_ENCODING']:


$enc_ar=explode(',',$_SERVER['HTTP_ACCEPT_ENCODING']);
foreach($enc_ar as $enc)
{
$enc=trim($enc);
if('gzip'==$enc||'x-gzip'==$enc)
{
// посылать gzip
}
}

_______________

+ по интерфейсу (много предложений, но это первое что вспомнилось) - люблю мониторить работу рефералов, но добраться до них трудновато - в разделе партнерка уйти вниз, затем по пользователям. Пожалуйста, продублируйте (перенесите) вверх ссылку "приглашенные пользователи"

stealthy
На сайте с 15.06.2006
Offline
69
#8
Zlo_606ep:
на счет gzip-a обычно нужно ориентироваться на заголовки клиента $_SERVER['HTTP_ACCEPT_ENCODING']:

У нас все разбирается согласно RFC. И на кой нам PHP пример если речь про Perl, тем паче это все в одну строку регекспом должно проверяться а не таким громоздким куском кода, а кроме того там есть и другие условия кроме этого хедера которые должны проверяться.

R34-zevs
На сайте с 15.07.2006
Offline
238
#9

Не могу понять, подскажите, как можно на сапе направить ссылки не на главную а во внутрь сайта? И как можно ссылки которые уже размещены, без ущерба поменять у ник не название самой ссылки, а сам путь, вместо главной - во внутрь сайта пустить?

Агентство недвижимости Фабрика Жилья (http://xn--80aacvicll3bzbzgqb.xn--p1ai/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий