- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Указанной странице в выдаче не наблюдается, зато есть http://sochi.net.ru/cgi-bin/ht2/ht2-cgi.cgi?=se$TRIPP_LITE_BUG с указанием "Найден по ссылке". Вполне понятная ситуация - никто ее не индексировал, что не мешает ее находить.
Указанной странице в выдаче не наблюдается, зато есть http://sochi.net.ru/cgi-bin/ht2/ht2-cgi.cgi?=se$TRIPP_LITE_BUG с указанием "Найден по ссылке". Вполне понятная ситуация - никто ее не индексировал, что не мешает ее находить.
Для вас есть скриншот того, что вам поисковик показывал вчера:
Для вас есть скриншот того, что вам поисковик показывал вчера:
Быстрый робот постарался. Сейчас до офиса доеду, разберемся.
Скажите, пожалуйста, как Вас зовут. Мы знаем поименно всех Яндексоидов, здесь время от времени появляющихся, а Вашего имени не знаем.
Я думаю, когда человек сочтет нужным представиться, он это сделает. Немного некорректно, на мой взгляд, торопить события. ;)
У человека примечательный ник. О многом может рассказать.
Для вас есть скриншот того, что вам поисковик показывал вчера:
Разобрался.
Максим, советую почитать про настройки сервера - у вас robots.txt отдается как text-plain, и при этом спокойно так пакуется gzip. То, что получается мы интерпретируем как пустой файл.
Отключайте паковку....
Разобрался.
Максим, советую почитать про настройки сервера - у вас robots.txt отдается как text-plain, и при этом спокойно так пакуется gzip. То, что получается мы интерпретируем как пустой файл.
Отключайте паковку....
Советую почитать RFC2616 (спецификация HTTP/1.1) про Content Encoding.
При использовании сжатия контента, значение Content-Type, то, что вы назвали text-plain, не изменяется, добавляется только заголовок Content-Encoding с указанием метода сжатия, и, самое главное, сжатие при передаче включается только, если клиент сообщит серверу о поддержке этой фичи, т.е. если ваш бот не поддерживает сжатие контента, не посылайте в вашем запросе заголовок Accept-Encoding !
Добавка: валидатор http://tool.motoricerca.info/robots-checker.phtml проблем со сжатием не находит, ровно как и robots.txt analysis в Google sitemaps (последняя проверка September 25, 2006 11:09:21 AM PDT). Выходит, всё-таки дело именно в вашем боте.
http://www.yandex.ru/cgi-bin/test-robots?host=sochi.org.ru
Запрещена индексация всех URL, начинающихся с указанных префиксов:
/D-Link
/DataparkSearch
/Justine
/UdmSearch
/ads/?screen=Add
/ads/?screen=Delete
/banner
/cgi-bin/ht2
/cgi-bin/newinsearch.ru
/cgi-bin/search
/cgi-bin/storedoc
/cgi-bin/thermban.png
/job?Current_Screen=Add
/job?Current_Screen=Delete
/js/
/mike/
/mnogosearch
/rate
/rc5
/statistics
/temp
/validator
/wap
/wiki
Получается, что разные боты Яндекса один и тот же robots.txt видят по разному?
если ваш бот не поддерживает сжатие контента, не посылайте в вашем запросе заголовок Accept-Encoding
Хе-хе, кто-то в Яндексе получит по шапке. ;)