Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 19.09.2006, 19:03   #1
Аспирант
 
Регистрация: 29.03.2003
Сообщений: 249
Репутация: 2285

По умолчанию Яндекс & robots.txt

Похоже Яндекс не совсем точно следует стандарту robots.txt: http://notes.sochi.org.ru/940/
__________________
Проверь свои запросы: Вершки Рунета
Maxime вне форума   Ответить с цитированием

Реклама
Старый 19.09.2006, 20:17   #2
K. Ermakov
Академик
 
Аватар для K. Ermakov
 
Регистрация: 10.12.2004
Адрес: Kronshtadt
Сообщений: 6,298
Репутация: 160424
Социальные сети Профиль в ВКонтакте Профиль на Хабрахабре

По умолчанию Re: Яндекс & robots.txt

Цитата:
Захожу на webmaster.yandex.ru, говорю: удали-ка мне все URL из директории sochi.org.ru/templates/, — а он мне в ответ: не могу, это не запрещено в вашем robots.txt ! Ну ладно, мы не гордые, попросили удалить все URL из директории sochi.org.ru/templates — согласился удалить !!!
Читайте внимательно, что пишет Яндекс на странице http://webmaster.yandex.ru/delurl.xml
Цитата:
* удалить только данный URL
сервер должен вернуть код ошибки
* удалить весь подкаталог (все URL, начинающиеся с данной строки)
каталог должен быть запрещен в файле /robots.txt
И что не так?

Впрочем, на данный момент Яндекс готов удалить Ваш URL при любом варианте
__________________
С уважением, Константин Ермаков,
absite.ru: онлайн кроссворды;
searchsuggest.ru: поисковые подсказки доставляют.
K. Ermakov вне форума   Ответить с цитированием
Старый 19.09.2006, 20:25   #3
aspnet
веб-разработчик
 
Аватар для aspnet
 
Регистрация: 17.09.2005
Адрес: Дубна
Сообщений: 638
Репутация: 4523

По умолчанию Re: Яндекс & robots.txt

Цитата:
Сообщение от Maxime
Похоже Яндекс не совсем точно следует стандарту robots.txt: http://notes.sochi.org.ru/940/
предлагаете подать в суд на яндекс ?

ЗЫ: а что если яндекс воспользуется заповедью "не судите, да несудимы будете"
aspnet вне форума   Ответить с цитированием
Старый 19.09.2006, 22:49   #4
Maxime
Аспирант
 
Регистрация: 29.03.2003
Сообщений: 249
Репутация: 2285

ТопикСтартер Re: Яндекс & robots.txt

Цитата:
Сообщение от K. Ermakov
И что не так?
Его попросили удалить весь подкаталог, запрещеный в robots.txt - он отказался, не по стандарту проиндепретировав robots.txt
Maxime вне форума   Ответить с цитированием
Старый 19.09.2006, 22:50   #5
Maxime
Аспирант
 
Регистрация: 29.03.2003
Сообщений: 249
Репутация: 2285

ТопикСтартер Re: Яндекс & robots.txt

Цитата:
Сообщение от aspnet
ЗЫ: а что если яндекс воспользуется заповедью "не судите, да несудимы будете"
Наверное перестанет банить сайты без решения суда, совсем
Maxime вне форума   Ответить с цитированием
Старый 20.09.2006, 09:13   #6
K. Ermakov
Академик
 
Аватар для K. Ermakov
 
Регистрация: 10.12.2004
Адрес: Kronshtadt
Сообщений: 6,298
Репутация: 160424
Социальные сети Профиль в ВКонтакте Профиль на Хабрахабре

По умолчанию Re: Яндекс & robots.txt

Цитата:
Сообщение от Maxime
Его попросили удалить весь подкаталог, запрещеный в robots.txt - он отказался, не по стандарту проиндепретировав robots.txt
Дело всё в том, что, когда я просил его сделать то же самое, всё было ок. Тут варианта два: либо вчера с 20 до 21 кто-то с Яндекса усиленно читал форум и быстро поправил имевшийся глюк, либо что-то было с Вашим robots.txt (вариантов того, что могло быть, на самом деле, не так мало), что Вы поправили, и Яндекс смог его интерпретировать так, как нужно было Вам.
K. Ermakov вне форума   Ответить с цитированием
Старый 20.09.2006, 09:35   #7
BigBrother
Кандидат наук
 
Аватар для BigBrother
 
Регистрация: 16.06.2006
Адрес: Singapore
Сообщений: 335
Репутация: 17515

По умолчанию Re: Яндекс & robots.txt

Цитата:
Сообщение от Maxime
Похоже Яндекс не совсем точно следует стандарту robots.txt: http://notes.sochi.org.ru/940/
Посмотрим, что там у нас с удалением без слеша.

Но хотелось бы сайт в личку - иначе непонятно, что случилось на самом деле.

UPD: Все, понял. Что у вас было в robots.txt до 15-16 Сентября?
BigBrother вне форума   Ответить с цитированием
Старый 20.09.2006, 09:36   #8
Megavolt
Освободитель лампочек
 
Аватар для Megavolt
 
Регистрация: 23.12.2005
Сообщений: 2,443
Репутация: 47849

По умолчанию Re: Яндекс & robots.txt

Цитата:
Сообщение от K. Ermakov
Дело всё в том, что, когда я просил его сделать то же самое, всё было ок. Тут варианта два: либо вчера с 20 до 21 кто-то с Яндекса усиленно читал форум и быстро поправил имевшийся глюк, либо что-то было с Вашим robots.txt (вариантов того, что могло быть, на самом деле, не так мало), что Вы поправили, и Яндекс смог его интерпретировать так, как нужно было Вам.
есть еще вариант, что яшка дурил. менее вероятный, но в свете последних событий не невозможный.
__________________
Иногда лучше жевать.... (С)
Megavolt вне форума   Ответить с цитированием
Старый 20.09.2006, 10:02   #9
Maxime
Аспирант
 
Регистрация: 29.03.2003
Сообщений: 249
Репутация: 2285

ТопикСтартер Re: Яндекс & robots.txt

Цитата:
Сообщение от K. Ermakov
Дело всё в том, что, когда я просил его сделать то же самое, всё было ок. Тут варианта два: либо вчера с 20 до 21 кто-то с Яндекса усиленно читал форум и быстро поправил имевшийся глюк, либо что-то было с Вашим robots.txt (вариантов того, что могло быть, на самом деле, не так мало), что Вы поправили, и Яндекс смог его интерпретировать так, как нужно было Вам.
Ну начнём с того, что кто-то из Яндекса не только усиленно читает, но и усиленно владеет этим форумом :]
Во вторых, продолжаем эксперимент, коли вы готовы выгораживать Яндекс, обвиняя меня: меняем
Disallow: /templates
на
Disallow: /temp
Получаем: директорию /templates готов удалять, директорию /templates/ - отказывается. Проверял ровно пару минут назад. Хотя обе по стандарту подпадают под указаный шаблон.
Maxime вне форума   Ответить с цитированием
Старый 20.09.2006, 10:11   #10
K. Ermakov
Академик
 
Аватар для K. Ermakov
 
Регистрация: 10.12.2004
Адрес: Kronshtadt
Сообщений: 6,298
Репутация: 160424
Социальные сети Профиль в ВКонтакте Профиль на Хабрахабре

По умолчанию Re: Яндекс & robots.txt

Цитата:
Сообщение от Maxime
Получаем: директорию /templates готов удалять, директорию /templates/ - отказывается. Проверял ровно пару минут назад. Хотя обе по стандарту подпадают под указаный шаблон
Согласен. Имеется такая проблема.
Я бы посоветовал Вам пообщаться на эту тему с BigBrother. Поверьте, лучше от этого станет всем
K. Ermakov вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны