- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Господа, кто-нибудь встречал такое?
Slurp приходит на сайт раз в два дня, читает robots.txt (0 bytes), потом берется за index.html - и на нем помирает.
В логах написано, что размер прочитанного index.html - около 6Kb
На самом деле - он порядка 16.
Пытался сэмулировать Slurp telnet-ом (GET /, User-Agent: ...) - получаю все нормально.
Смотрел, может что-то странное в HTML на том месте, где Slurp ломается - ничего не нашел.
С сервером тоже проблем не вижу. На нем есть куча других сайтов - и там все в порядке.
Что бы еще проверить, не посоветуете?
С благодарностью
-- Studiosi
Наличие и включенность mod_gzip. Slurp наверно его поддерживает.
Просто, как все гениальное! Конечно, gzip. ☝
Меня смутило то что, что протокол в логе показан как HTTP/1.0
Получается, что Slurp пишет GET ... HTTP/1.0, но при этом дает Host: header, и еще к тому же accept: gzip...
Уфф - стало легче, с одной стороны. По крайней мере, у меня нет Slurpоубийственного HTML.
Остается вопрос, почему тогда Slurp не продолжает читать другие страницы, следуя линкам. У меня есть несколько таких сайтов: Slurp приходит, читает robots, потом берет одну или несколько страниц - и уходит. И так каждые два дня. Причем эти несколько страниц всегда одни и те же.
Возможно, он читает то, на что есть ссылки с других сайтов... Странно. Я бы на его месте вел себя по-другому :D
Еще раз ОГРОМНОЕ СПАСИБО, Interitus!!!
-- Studiosi
Там в GET можно после 1. написать что угодно (хоть GET /document HTTP/1.2389dajsdk), сервер документ отдаст правильно. Googlebot тоже раньше 1.0 писал, хотя всегда разумеется использовал стандарт 1.1.
Ну это распространенная проблема, посоветовать можно только работать над ссылками на сайт извне, и ждать.
Мне казалось, что если писать 1.1 - то сервер отдаст chunked.
А если 1.0 - то обычным способом. Но это - так, к Slurp отношения не имеет...
Либо - сайт "забанен". Или в этом случае Slurp вообще не приходит?
Ссылок, кстати, предостаточно. И сам сайт в Yahoo каталоге (оплачен)...
Еще раз - спасибо.
А если 1.0 - то обычным способом. Но это - так, к Slurp отношения не имеет...
В общем похоже от настроек и сервера зависит. Я попробовал на одном апаче - с 1.0 и 1.1 выдает одинаково, байт в байт.
А сайт давно существует? Могут быть проблемы из-за давнишних отношений с Inktomi, особенно если им когда-то платили деньги за индексацию.
Главная страница, которую робот берет, в индексе появляется? Ее кеш в индексе доступен?
Главная страница, которую робот берет, в индексе появляется? Ее кеш в индексе доступен?
Сайту 4 года. Платили Inktomi года полтора назад. Именно за эту главную страницу. В индексе она не появляется. Запрос типа site:... ничего не находит.
Вообще-то похоже что дело в прошлых отношениях с Inktomi. Все сайты (по-памяти), за которые я когда-то платил в positiontech - действительно отсутствуют.
Есть лекарство?
Прогнуться под Яху или она прогнется под нас? © А. Макаревич
Еще раз спасибо за ответы. Куда высылать 🍻 ?
Ну можно вступить в долгую и безнадежную переписку с ними... или звонить (если есть откуда по местному тарифу, потому что висеть на линии буквально часами можно).
Если позволяют обстоятельства - то имеет смысл сделать специально для них сайты с нуля.
Я 🍻 не пью. :)
Правильно. Remi Martin вкуснее и полезнее...
ОК - все со Slurp-ом ясно. Звонить мы им не будем. Закроем тему и пойдем "поднимать целину". Гуглу-гуглово, а Слурпу-слурпово...
С-П-А-С-И-Б-О и до встречи!
а кто такой SLURP???
Папа, а де МОРЕ? 😂
Slurp - робот поисковой системы Yahoo (ранее - робот Inktomi).