Правильно. Remi Martin вкуснее и полезнее...
ОК - все со Slurp-ом ясно. Звонить мы им не будем. Закроем тему и пойдем "поднимать целину". Гуглу-гуглово, а Слурпу-слурпово...
С-П-А-С-И-Б-О и до встречи!
Сайту 4 года. Платили Inktomi года полтора назад. Именно за эту главную страницу. В индексе она не появляется. Запрос типа site:... ничего не находит.
Вообще-то похоже что дело в прошлых отношениях с Inktomi. Все сайты (по-памяти), за которые я когда-то платил в positiontech - действительно отсутствуют.
Есть лекарство?
Прогнуться под Яху или она прогнется под нас? © А. Макаревич
Еще раз спасибо за ответы. Куда высылать 🍻 ?
Мне казалось, что если писать 1.1 - то сервер отдаст chunked.
А если 1.0 - то обычным способом. Но это - так, к Slurp отношения не имеет...
Либо - сайт "забанен". Или в этом случае Slurp вообще не приходит?
Ссылок, кстати, предостаточно. И сам сайт в Yahoo каталоге (оплачен)...
Еще раз - спасибо.
Просто, как все гениальное! Конечно, gzip. ☝
Меня смутило то что, что протокол в логе показан как HTTP/1.0
Получается, что Slurp пишет GET ... HTTP/1.0, но при этом дает Host: header, и еще к тому же accept: gzip...
Уфф - стало легче, с одной стороны. По крайней мере, у меня нет Slurpоубийственного HTML.
Остается вопрос, почему тогда Slurp не продолжает читать другие страницы, следуя линкам. У меня есть несколько таких сайтов: Slurp приходит, читает robots, потом берет одну или несколько страниц - и уходит. И так каждые два дня. Причем эти несколько страниц всегда одни и те же.
Возможно, он читает то, на что есть ссылки с других сайтов... Странно. Я бы на его месте вел себя по-другому :D
Еще раз ОГРОМНОЕ СПАСИБО, Interitus!!!
-- Studiosi
