- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Разработчикам "яндексирующего" бота - вопрос, интересующимся - к сведению.
В запросе бота находится заголовок "Connection: keep-alive". Если сервер отвечает на это заголовком "Connection: close", бот плевать на это хотел. Он фигачит в поток второй запрос сразу не открывая нового соединения, как того требует стандарт.
Трассировку веду через CommView, версия протокола HTTP/1.1. Вопрос к разработчикам яндекс-бота - можно ли наконец починить это безобразие? Для IIS/ISAPI фильтров это просто бедствие. Подозреваю, что IIS сервера с самописными скриптовыми движками процентов на 40 толком из-за этого вообще не индексируются, поскольку каждый второй запрос практически улетает в трубу.
stealthy, респект за умные слова.
Только я не понял - а чем все-таки мешает, то в один поток фигачит? Просто разными запросами...?
stealthy, ээээ.... А почему бы не включить на сервере keep-alive? И серверу легче.
По своему опыту: несколько IIS с всякими разными ISAPI фильтрами (UrlScan, Cyrcoder, и все те, что по умолчанию ставятся) индексируются без проблем.
stealthy, ээээ.... А почему бы не включить на сервере keep-alive? И серверу легче.
PERL ISAPI закрывает поток сразу как только погибает CGI. Он не получает вообще всех запросов, которые идут вдогонку. Так устроен ActivePerl по всей видимости. Поскольку с этим ничего поделать нельзя, я могу только принудительно возвращать Connection: close. Но Яндексу на это наплевать.
В результате он приходит за robots.txt, получает его с заголовком connection: close, но коннект не закрывает и требует сразу же в этом потоке главную страницу сайта (как правило). В этот момент CGI уже отработала запрос и умерла. IIS рубит коннект и робот Яндекса отваливает по таймауту.
А потом люди удивляются почему морды выпадают.
И такая хренотень началась с конца ноября. Почти уверен, что в конце ноября в робота как раз и добавили поддержку keep-alive, только реализовали криво.
PERL ISAPI закрывает поток сразу как только погибает CGI. Он не получает вообще всех запросов, которые идут вдогонку. Так устроен ActivePerl по всей видимости. Поскольку с этим ничего поделать нельзя, я могу только принудительно возвращать Connection: close. Но Яндексу на это наплевать.
CGI тут точно не при чем :) ISAPI приложения не используют CGI.
В результате он приходит за robots.txt, получает его с заголовком connection: close, но коннект не закрывает и требует сразу же в этом потоке главную страницу сайта (как правило). В этот момент CGI уже отработала запрос и умерла. IIS рубит коннект и робот Яндекса отваливает по таймауту.
А robots.txt у вас тоже ISAPI обрабатывается? 😕
А потом люди удивляются почему морды выпадают.
И такая хренотень началась с конца ноября. Почти уверен, что в конце ноября в робота как раз и добавили поддержку keep-alive, только реализовали криво.
Неа. Гораздо раньше. Вот отловленные хедеры (смотрите на дату)
У вас вообще keep-alive включен на сервере?
И такая хренотень началась с конца ноября. Почти уверен, что в конце ноября в робота как раз и добавили поддержку keep-alive, только реализовали криво.
Доказательства - есть?;)
keep-alive с тайм-аутом 15 сек, в Апаче включен, ISAPI пашут как часики, Яндекс лопает все и вся, без остановки.
Такая связка, Апач+ISAPI, используется с 2002 года...
Так что, нужно где-то что подпрямить... ;)
Ни чего личного, настроение просто хорошее!
di_max, stealthy говорит как раз о том, что яша-бот кладет на заголовок connection: close, т.е. когда keep-alive вЫключен, а не включен ;)
p.s. Всё у яши через жопу :) и gzip не понимают, и keepalive включен всегда превентивно... Интересно, они хотя-бы chunked-ответы нормально обрабатывают? :D
p.p.s. Тоже ничего личного :)
stealthy,
Для IIS/ISAPI фильтров это просто бедствие.
Все чудесно работает, при условии нормального ISAPI. Проблем никогда не видел.
Подозреваю, что IIS сервера с самописными скриптовыми движками процентов на 40 толком из-за этого вообще не индексируются,
Все мои сайты на самописанных движках. Многие на ActivePerl под IIS. Все ок. Кривизна или внасройках или в самом ISAPI.
PERL ISAPI закрывает поток сразу как только погибает CGI.
Если перл установлен как ISAPI, то зачем его юзать через CGI. ActivePerl ставит ISAPI для поддержки именно ASP интерфейса. Мне кажется Вы просто перемудрили с серваком.
di_max, stealthy говорит как раз о том, что яша-бот кладет на заголовок connection: close, т.е. когда keep-alive вЫключен, а не включен ;)
Имхо, это дело сервака - КАК и В ЧЕМ (потоке) обработать поступивший запрос... ;)
Имхо, это дело сервака - КАК и В ЧЕМ (потоке) обработать поступивший запрос...
Если сервак говорит закрыть соединение - надо его слушаться ;)
jackal,
Те скрипты, которые Вы пишите все делают согласно правил???
Если Вашу настройку сервака, так просто поставить в тупик, то это тольок подтверждает правило
"Если строить города, как программеры пишут софт - то первый дятел уничтожит цивилизацию"