В упомянутом мною инциденте речь шла не о метапоиске, а больше об анализаторе позиции. И представители Яндекса практически не говорили о перегрузке серверов - основной акцент был сделан на невоспитанности робота и несоблюдении им директив robots.txt.
Да упаси боже. О двойных стандартах здесь говорилось еще год назад.
С другой стороны, никто не возражает против криков "Когда придет Рамблеровский робот?", а вот обсуждать наплевательское отношение Яндекса становится уже дурным тоном - ибо надоело, видимо.
за крамольные мысли сам себя отлучаю от форума сроком на месяц
Я тебе отлучусь. Перекличка раз в сутки и попробуй не отзовись.
Некоторое время назад - если точнее, в сентябре 2001 года, компания Topping открыла сервис проверки позиции сайтов в поисковых системах, а через некоторое время - метапоисковую систему metaping. В число поисковиков, которым передавались запросы от названных систем, входил и Яндекс. Однако в считанные дни доступ к Яндексу с серверов компании Topping был заблокирован средствами вебсервера. После короткого разбирательства (подробнее здесь) Яндекс устами Тейблюма и Сегаловича родил официальную позицию, фрагменты которой я процитирую:
Ответ Тейблюма Действительно, 14 сентября был закрыт доступ какому-то невоспитанному роботу. Этот робот задавал существенное количество запросов, нарушающих абсолютно четко написанные запреты в файле robots.txt. Файлы robots.txt на наших серверах предназначены не для красоты, как Вы, вероятно, подумали. Они содержат пожелания, обязательные для всех роботов.
Я не видел никаких официальных просьб сделать исключение для роботов компании TopPing. Если Вам это интересно, обращайтесь по адресу webadmin@yandex.ru, указанному на всех страницах нашего сайта.
Комментарий Сегаловича 2Вячеслав. Вы, не спрашивая нас, в течении долгого времени, нарушали явно выраженную нами (см файл robots.txt) просьбу не скачивать данные с нашего сервера. В ответ на Ваши молчаливые действия, мы стали совершенно стандартным образом возвращать вашему агенту код 403. Это по стандарту HTTP означает, что данные на сервере имеются, но для данного пользователя доступ к ним запрещен.
Позиция абсолютно ясная - Яндекс содержимым robots.txt явно запрещает обращение к определенным разделам своего сайта. Не индексацию, а доступ.
Попытки тогда аппелировать к необязательности стандарта поведения роботов успеха не возымели.
Однако сейчас Яндекс явно не проявляет желания поступать с другими так, как он бы хотел, чтобы поступали с ним. Иначе говоря, скрипт, работающий на сервере Яндекса, автоматически, не обращая внимания на содержимое файла robots.txt на сайте, обращается к сайту. И теперь уже Яндекс устами wawa заявляет, что следование стандарту поведения роботов - сугубо добровольное решение владельца робота, что robots.txt запрещает только индексацию документов, в общем, что правила в очередной раз не для Яндекса писаны.
Я прав в оценке ситуации? Или опять начнем рассказывать, что Яндекс - частная компания и никому ничего не обязана?
А какой смысл вводить априори несмысловой параметр? Доменная зона не влияет на ранжирование сайта. Зарегистрировать домен в зоне .ca или .uk тоже непросто, однако в результатах преобладают .com.
Ладно, в любом случае, я никого ни к чему не призываю, просто, непримену возможностью заиметь домен .ua для своей компании
У меня торговой марки нет, но обладателю таковой я тоже посоветую заплатить больше.
Надеяться на то, что робот нормально воспримет твой хтмл, не стоит. Есть два выхода - либо переделать сайт так, чтобы флэш выводился как бы в "окно", а вокруг все сделать html`ом, либбо делать non-flash version
wawa, не передергивайте.
В упомянутом мною инциденте речь шла не о метапоиске, а больше об анализаторе позиции. И представители Яндекса практически не говорили о перегрузке серверов - основной акцент был сделан на невоспитанности робота и несоблюдении им директив robots.txt.
AiK
Да упаси боже. О двойных стандартах здесь говорилось еще год назад.
С другой стороны, никто не возражает против криков "Когда придет Рамблеровский робот?", а вот обсуждать наплевательское отношение Яндекса становится уже дурным тоном - ибо надоело, видимо.
Я тебе отлучусь. Перекличка раз в сутки и попробуй не отзовись.
Ха, а ведь любопытная ситуация вырисовывается.
И мне понятны вопросы Славы Тихонова и wolf`а.
Напомню остальным.
Некоторое время назад - если точнее, в сентябре 2001 года, компания Topping открыла сервис проверки позиции сайтов в поисковых системах, а через некоторое время - метапоисковую систему metaping. В число поисковиков, которым передавались запросы от названных систем, входил и Яндекс. Однако в считанные дни доступ к Яндексу с серверов компании Topping был заблокирован средствами вебсервера. После короткого разбирательства (подробнее здесь) Яндекс устами Тейблюма и Сегаловича родил официальную позицию, фрагменты которой я процитирую:
Действительно, 14 сентября был закрыт доступ какому-то невоспитанному роботу. Этот робот задавал существенное количество запросов, нарушающих абсолютно четко написанные запреты в файле robots.txt. Файлы robots.txt на наших серверах предназначены не для красоты, как Вы, вероятно, подумали. Они содержат пожелания, обязательные для всех роботов.
Я не видел никаких официальных просьб сделать исключение для роботов компании TopPing. Если Вам это интересно, обращайтесь по адресу webadmin@yandex.ru, указанному на всех страницах нашего сайта.
2Вячеслав. Вы, не спрашивая нас, в течении долгого времени, нарушали явно выраженную нами (см файл robots.txt) просьбу не скачивать данные с нашего сервера. В ответ на Ваши молчаливые действия, мы стали совершенно стандартным образом возвращать вашему агенту код 403. Это по стандарту HTTP означает, что данные на сервере имеются, но для данного пользователя доступ к ним запрещен.
Позиция абсолютно ясная - Яндекс содержимым robots.txt явно запрещает обращение к определенным разделам своего сайта. Не индексацию, а доступ.
Попытки тогда аппелировать к необязательности стандарта поведения роботов успеха не возымели.
Однако сейчас Яндекс явно не проявляет желания поступать с другими так, как он бы хотел, чтобы поступали с ним. Иначе говоря, скрипт, работающий на сервере Яндекса, автоматически, не обращая внимания на содержимое файла robots.txt на сайте, обращается к сайту. И теперь уже Яндекс устами wawa заявляет, что следование стандарту поведения роботов - сугубо добровольное решение владельца робота, что robots.txt запрещает только индексацию документов, в общем, что правила в очередной раз не для Яндекса писаны.
Я прав в оценке ситуации? Или опять начнем рассказывать, что Яндекс - частная компания и никому ничего не обязана?
Nicon
А какой смысл вводить априори несмысловой параметр? Доменная зона не влияет на ранжирование сайта. Зарегистрировать домен в зоне .ca или .uk тоже непросто, однако в результатах преобладают .com.
У меня торговой марки нет, но обладателю таковой я тоже посоветую заплатить больше.
spark
Добавь - не читая их.
2 vs - Влад, придется комментировать собственное интервью. Тем более, что давно никакого шума вокруг Рамблера не было, все больше о Яндексе...
Да проиндексировать он ее в любом случае проиндексирует.
Только не найдет ее никто.
Поисковики не индексируют флэш.
Надеяться на то, что робот нормально воспримет твой хтмл, не стоит. Есть два выхода - либо переделать сайт так, чтобы флэш выводился как бы в "окно", а вокруг все сделать html`ом, либбо делать non-flash version
Nicon, вот тебе еще одна загадка - у этого сайта PR тоже равен 6/10 - при 114 ссылках, на него ведущих.
А Google понятия не имеет о сложностях регистрации в зоне .ua.
А нероссиянину и заезжание не поможет.
на нахождении русских вхождений с этого сайта в гугле?
Никак, ИМХО.
Кстати, и на ранжировании тоже.