- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
На самом деле, этот робот (где-то встречал название "Дятел"), проверяет сайт (или вернее, страницу) на доступность и передает эти данные другим роботам.
Относительно аддурлки:
запихнул сейчас в аддурлку этот-же проиндексированный урл - робот стукнулся в роботс и в морду:
Пост №4
Тут что-то другое.
На самом деле, этот робот (где-то встречал название "Дятел"), проверяет сайт (или вернее, страницу) на доступность и передает эти данные другим роботам.
на самом деле Вы не правы. Я привёл описание из http://webmaster.yandex.ru/faq.xml?id=502499#user-agent , где чётко написано:
То, что вы называете "дятлом" - это робот "простукиватель" Яндекс.Каталога, Директа, Закладок, Новостей. Собственно о нём вы можете прочитать перейдя по ссылке указаной выше. На всякий случай приведу цитату:
Собственно по этому Вы вероятно не совсем поняли о чём мы тут говорили.
Concept, у ТС робот Yandex/1.03.003 (compatible; Win16; D) ведет себя по разному при добавлении страницы в аддурл и при самосоятельном заходе.
При добавлении жрет robots.txt и морду, а при самостоятельном заходе (насколько я понял, он может заходить и самостоятельно) - только robots.txt причем два раза подряд и дальше не идет.
robots.txt описанный в первом посте совершенно тревиальный.
м.б. имеет смысл попробовать написать в robots.txt :
User-agent: yandex
Disallow:
User-agent: *
Disallow:
Хотя, и отсутствующий файл robots.txt робот Яндекса пытается считать два раза (може чего-то недопонимает...)
P.S.
Да, с термином "Дятел", видимо ошибся.
Concept, у ТС робот Yandex/1.03.003 (compatible; Win16; D) ведет себя по разному при добавлении страницы в аддурл и при самосоятельном заходе.
Поправте меня пожалуйста если я не прав, но разве может этот робот заходить "самостоятельно"?
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
При добавлении жрет robots.txt и морду, а при самостоятельном заходе - только robots.txt причем два раза подряд и дальше не идет.
robots.txt описанный в первом посте совершенно тревиальный.
Хотя, и отсутствующий файл robots.txt робот Яндекса пытается считать два раза (може чего-то недопонимает...)
Смысл был это писать? Зачем делать пересказ того, что сказал ТС?
Для Вас повторю ещё раз. Была такая же ситуация как у ТС. Робот D тыкался в роботс два раза подряд и всё. Длилось такое примерно дней 5. На данный момент всё работает стабильно. Секунда на роботс и сразу к морде.
Поправте меня пожалуйста если я не прав, но разве может этот робот заходить "самостоятельно"?
Посмотрите пост №4, если я правильно понял - заходит и самостоятельно.
Посмотрите пост №4, если я правильно понял - заходит и самостоятельно.
уфф... ещё раз:
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
ну не ходит он просто так сам. ну никак. Только после формы.
Значит врет либо Artlight, либо Яндекс :)
Значит врет либо Artlight, либо Яндекс :)
Никто из них не врёт. Учитесь читать между строк, и не замечать некоторые ошибки (погрешности) в написании постов. + не писать бессмысленные ответы.
У Вас есть свои сайты? Проведите следственный эксперимент - просмотрите логи сайтов, посмотрите когда к вам заходил робот D. Добавьте ещё раз свои сайты через аддурл Яндекса. Посмотрите снова логи.
Artlight, меня вот смущает пока одно...
Вы пишите, что
Но потом судя по тому, что вы пишите в посте 4 - на одном из сайтов всё же всё заработало нормально...
Как я уже написал - у меня такая проблема тоже возникла вот совсем недавно. (но только с одним сайтом) - но на данный момент вопрос снят, робот таки добрался до морды.
Смущает то, что действительно непонятно - в чём дело. И то, что у других форумчан таких проблем не было... Получается это нам двоим пока так свезло?
Значит врет либо Artlight, либо Яндекс
В последнее время всё меньше и меньше веришь яндексу...
Абсолютно на всех Ваших?
Это происходило на сайтах, которые находятся на одном хостинге, на других хостингах такого не замечал (м.б. плохо смотрел)
ну не ходит он просто так сам. ну никак. Только после формы.
Заходил и самостоятельно.
При самостоятельном заходе дважды смотрел роботс и уходил.
При добавлении через форму смотрел роботс и морду.