- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добавка: валидатор http://tool.motoricerca.info/robots-checker.phtml проблем со сжатием не находит, ровно как и robots.txt analysis в Google sitemaps (последняя проверка September 25, 2006 11:09:21 AM PDT). Выходит, всё-таки дело именно в вашем боте.
1) Accept-encoding бот не присылает - проверь по логам.
2) То, что сейчас выдается непакованный robots.txt - не значит, что он не выдавался. Я смотрел его по нашей базе - там пакованный. По-моему у кого-то просто был баг, и этот кто-то - не Яндекс.
3) Если перестал отдавать зип - все учтется нормально при обходе.
Это шалило кэширование в mod_proxy у Апача. Судя по всему оно так шалит в каждом стандартном апаче, - лишний повод прикрутить поддержку сжатого контента к боту, а то он у вас отсталый какой-то, - большинсво ботов уже поддерживают эту фичу.
Сжатие для text/plain убрано вообще, т.е. robots.txt не сжимается ни для кого, а безобразия продолжают нарушаться:
213.180.217.218 - - [29/Sep/2006:17:21:56 +0400] "GET /robots.txt HTTP/1.1" 200 3377 "Yandex/1.01.001 (compatible; Win16; H)" "A-Encoding:-" "C-Encoding:-"
213.180.206.248 - - [29/Sep/2006:18:07:10 +0400] "GET /robots.txt HTTP/1.1" 200 3377 "Yandex/1.01.001 (compatible; Win16; I)" "A-Encoding:-" "C-Encoding:-"
213.180.214.133 - - [29/Sep/2006:19:05:25 +0400] "GET /cgi-bin/search.cgi.ru?q=%D0%A1%D0%BE%D1%87%D0%B8&m=near&sp=1&sy=0&s=DRP&tmplt=rss.htm.ru HTTP/1.1" 200 27164 "YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) 0 readers" "A-Encoding:-" "C-Encoding:-"
"A-Encoding:-" и "C-Encoding:-" означают, что сжатие при передаче не запрашивалось и контент уехал несжатым соответсвенно.