- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сегодня вечером я был бесконечно огорчен и долго не мог окончательно поверить в то, что компанией Яндекс был полностью закрыт доступ с серверов украинской компании TopPing. В ответ на попытку загрузить любую страницу с Яндекса появляется только следующее сообщение:
<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<HTML><HEAD>
<TITLE>403 Forbidden</TITLE>
</HEAD><BODY>
<H1>Forbidden</H1>
You don't have permission to access /
on this server.<P>
<P>Additionally, a 404 Not Found
error was encountered while trying to use an ErrorDocument to handle the request
.
</BODY></HTML>
Следует отметить, что никаких уведомлений от Яндекса не приходило и данное событие произошло для нас совершенно неожиданно.
Я с сожалением не могу не связать данный факт прежде всего с открытием очень полезного по мнению многих сервиса - анализатора позиции сайта в поисковых системах, сделанного исключительно по просьбам самих же пользователей. По-видимому, руководство Яндекса проводит кампанию по борьбе со спамом своих индексов, чему, по их мнению, способствует мой анализатор. В результате, естественно, пострадают специалисты, которые напрямую занимаются развитием русского сегмента Сети.
Кроме того, подобной акцией Яндекс ставит под сомнение развитие достаточно перспективной и мощной метапоисковой машины, в которой его отличная поисковая система является одним из необходимых звеньев для успешного поиска информации. Опять же, в результате пострадают обычные пользователи. Следует отметить, что Яндекс является системой общедоступной и в данном случае его авторские права никоим образом не нарушаются, так как везде стояли ссылки, где и каким образом информация была найдена. Между тем метапоисковые системы являются общепринятой практикой во всем мире, к сожалению, практически не имеющей распространения на территории СНГ. Для того, чтобы как-то исправить создавшееся положение и была задумана и реализована метапоисковая система MetaPing и это делалось с единственной целью - позволить пользователям находить нужную им информацию с максимальным удобством и быстротой.
Мне как автору приведенных программ хотелось бы понять, за что компания Яндекс применила эти санкции к нашей компании и возможно также кто-то из пользователей захочет высказать свое мнение о правомерности действий Яндекса.
С уважением, Вячеслав Тихонов
Компания TopPing
По-видимому, руководство Яндекса проводит кампанию по борьбе со спамом своих индексов, чему, по их мнению, способствует мой анализатор.</font>
Думаю, жизнь гораздо прозаичней. Когда я тестировал анализатор, я задал около 10 запросов. Учитывая, что по умолчанию стояло 50 проверяемых позиций, то TopPing загрузил пять страниц (если считать, что во всех случаях мой URL не находился в top-50), в то время как средний пользователь просматривает чуть больше 2 страниц. Следовательно, я через TopPing создал нагрузку на Яндекс, эквивалентную 25 обычным пользователям.
Учитывая, что на рассылку Харченко подписано более 8500 человек, а данный форум посещает под сотню человек в день, даже если 5% читателей Харченко и 30% данного форума испытали анализатор, получается 500 человек. Умножаем на коэффициент 25, получаем 12500 "условных человек". При средней посещаемости 300'000 в день по Спайлогу, то есть почти 5% номинальной нагрузки. А если бы поэкспериментировали не 500, а все 9000 человек? Это уже эквивалент 200'000 "условных пользователей". Зачем Яндексу бесплатно тянуть эту дополнительную нагрузку, не связанную с непосредственно поиском, когда их рекламные показы пропадают зря?
С уважением,
Александр Садовский.
Думаю, жизнь гораздо прозаичней. Когда я тестировал анализатор, я задал около 10 запросов. Учитывая, что по умолчанию стояло 50 проверяемых позиций, то TopPing загрузил пять страниц (если считать, что во всех случаях мой URL не находился в top-50), в то время как средний пользователь просматривает чуть больше 2 страниц. Следовательно, я через TopPing создал нагрузку на Яндекс, эквивалентную 25 обычным пользователям.
</font>
Александр, большое спасибо за одну из версий, но давайте глянем реальную статистику посещаемости анализатора за текущий месяц. На данный момент в среднем это 145 хитов в день и при этом пользователи далеко не всегда выбирают Яндекс, а во многих случаях ищут по определенному региону, скажем по Украине или всему миру. Даже если воспользоваться предложенной арифметикой, выходит 362 "условных пользователя" в день для Яндекса. Даже если эта цифра в два раза больше, это будет составлять 0,12% нагрузки Яндекса. Поэтому я думаю, что данная версия очень маловероятна.
Злобные какие-то людишки в Яндексе работают. Не в первый раз в этом убеждаюсь...
P.S. Илья, лично к Вам это не относится... Так, общее впечатление от работы команды Яндекса.
[This message has been edited by wolf (edited 15-09-2001).]
Скорей всего кому-то из маркетологов пришла в голову мысль, что для Яндекса это вредно. Трудно об этом судить.
Опять же подобные запросы не только создают дополнительную нагрузку на сервер, но и портят статистику самому Яндексу и его рекламодателям.
Есть гораздо цивилизованный способ подобной работы - вы обращаетесь к специальному скрипту, который по заданным вами параметрам генерит XML или HTML с результатами поиска без "воды". Многие импортные поисковки это практикуют. Когда дорастут наши?
Яндекс ответил:
Действительно, 14 сентября был закрыт доступ какому-то невоспитанному роботу. Этот робот задавал существенное количество запросов, нарушающих абсолютно четко написанные запреты в файле robots.txt. Файлы robots.txt на наших серверах предназначены не для красоты, как Вы, вероятно, подумали. Они содержат пожелания, обязательные для всех роботов.
Я не видел никаких официальных просьб сделать исключение для роботов компании TopPing. Если Вам это интересно, обращайтесь по адресу webadmin@yandex.ru, указанному на всех страницах нашего сайта.
Дмитрий Тейблюм
Яндекс
С уважением,
Александр Садовский.
[This message has been edited by funsad (edited 15-09-2001).]
Вячеслав, а ты пусти своего робота на Яндекс через прокси - всех не поотрубают!
[This message has been edited by wolf (edited 15-09-2001).]
Любопытный факт: файл robots.txt на Яндексе написан с ошибкой!
Смотрим A Standard for Robot Exclusion ( http://www.robotstxt.org/wc/norobots.html ):
The Format
The format and semantics of the "/robots.txt" file are as follows:
The file consists of one or more records separated by one or more blank lines (terminated by CR,CR/NL, or NL). Each record contains lines of the form "<field>:<optionalspace><value><optionalspace>". The field name is case insensitive.
Comments can be included in file using UNIX bourne shell conventions: the '#' character is used to indicate that preceding space (if any) and the remainder of the line up to the line termination is discarded. Lines containing only a comment are discarded completely, and therefore do not indicate a record boundary.
The record starts with one or more User-agent lines, followed by one or more Disallow lines, as detailed below. Unrecognised headers are ignored.
User-agent
The value of this field is the name of the robot the record is describing access policy for. ...
Обратите на написание User-agent - слово agent написано с МАЛЕНЬКОЙ буквы!
Смотрим файл http://www.yandex.ru/robots.txt :
User-Agent: *
Disallow: /yandsearch
Disallow: /yandpage
Disallow: /yandbtm
Disallow: /subscribe/view.pl
Disallow: /last20.html
Disallow: /cgi-bin/
Disallow: /yaca
Disallow: /cy
Disallow: /ie3/yandsearch
Disallow: /redir
Disallow: /norobot
Agent написано с БОЛЬШОЙ буквы! Так что робот Вячеслава просто мог и не понять некорректную инструкцию!
Письмо Дмитрию Тейблюму:
Автор: Дмитрий Тейблюм
Здравствуйте, Дмитрий!
Действительно, 14 сентября был закрыт доступ какому-то невоспитанному роботу. Этот робот задавал существенное количество запросов, нарушающих абсолютно четко написанные запреты в файле robots.txt. Файлы robots.txt на наших серверах предназначены не для красоты, как Вы, вероятно, подумали. Они содержат пожелания, обязательные для всех роботов.
Естественно, я не мог не знать о содержимом robots.txt, находящемся на Вашем сервере. Однако, в Стандарте исключений для роботов (Standard for robot exclusion) имеются следующие строки:
It is not an official standard backed by a standards body, or owned by any commercial organisation. It is not enforced by anybody, and there no guarantee that all current and future robots will use it. Consider it a common facility the majority of robot authors offer the WWW community to protect WWW server against unwanted accesses by their robots.
Согласно тому, что здесь написано, данный стандарт вовсе не является обязательным, а скорее рекомендуемым для роботов.
Я не видел никаких официальных просьб сделать исключение для роботов компании TopPing. Если Вам это интересно, обращайтесь по адресу webadmin@yandex.ru, указанному на всех страницах нашего сайта.
Поэтому как такового нарушения здесь я не видел и именно по этой причине до сих пор в Яндекс не поступало никаких официальных просьб сделать исключение для роботов TopPing, иначе они непременно поступили бы. Так как сейчас наши сервера полностью отрезаны от Яндекса, возникает вопрос, какие условия необходимо выполнить, чтобы снять этот запрет?
Дмитрий Тейблюм Яндекс
С уважением, Вячеслав Тихонов
Компания TopPing
mailto: tikhonov@topping.com.ua
Двойственное ощущение.
С одной стороны, наиболее приемлемое решение - определиться совместно с Яндексом (и другими машинами) о порядке запросов метапоисковика, т.е. согласовать его работу, легализовать ее. Ведь, действительно, на сервера и каналы ложится дополнительная нагрузка.
С другой стороны, robots.txt всегда использовался для запрета индексации страниц, а не для блокирования передачи данных между скриптами. Естественно, робот метапоисковой машины не будет обращать внимание на этот файл - он же не собирается индексировать программное обеспечение.
2wolf
По поводу user-agent я уже писал некоторый комментарий к статье
Никак не могу понять, откуда взялось такое заблуждение? Ведь в стандарте все написано четко и ясно.