- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Или яндексоиды по-прежнему считают, что раз робот не проходит по ссылкам, то это и не робот вовсе? :D
Он не проходит по ссылкам, но ссылки вытаскивает, так как из примера видно, что индексатор сразу пошел на второстепенные страницы, минуя главную. А главную индексатор брал только при следующей плановой переиндексации. Однако интересный расклад получается. 🙄
Я даже могу добавить: робот D напрямую влияет на пополнение поисковой базы, передавая взятые документы индексатору. Т.е. этот робот не может не называться индексирующим.
Запрещенные страницы, правда, удаляются, но, как в мультике, "это было уже весной".
Оба-на! Еще один невежливый яндекс-робот! Опять яндексоиды лажанулись.
Скорее все же robots.txt был написан с ошибками (или его не было) на момент индексации.
На наш парсер robots.txt я не грешу, он за 5 лет эксплуатации вылизан до невозможности.
Только что еще раз проверил. Содержимое файла robots.txt:
User-agent: yandex
Disallow: /
При добавлении главной страницы сайта Яндекс сообщает, что URL внесен в базу данных.
Хотите верьте, хотите - нет
Да что тут гадать. Илья, скажите, робот D обращается к robots.txt или нет. Кому, как не Вам знать?
В моем случае D не обращался. Проверил все еще раз, дата последнего изменения robots.txt (Last-Modified) этого сайта:
Last-Modified: Mon, 17 Jun 2002 17:52:32 GMT до сих пор. Запроса от "Д" к robots.txt не было.🙄
У меня тоже сложилось впечатление, что робот D к robots.txt не обращается. Стало быть, Илья Сегалович не знает, что творят его роботы, если он на robots.txt грешил? Что за бардак творится в Яндексе?
D - это не робот. Так же как и translate.ru и масса других сервисов, в которых пользователь явно просит обработать явно заданный URL
Еще примеры: транслитераторы, конвертеры из html в wml, сервисы поиска плагиата, поиска похожих документов и т.д. и т.п.
Уточнение:
Если вы написали "робота-добавляльщика", который использует наш AddURL и игнорирует robots.txt, сообщите его IP адрес, мы его немедленно запретим. Причем запретим, даже если он не игнорирует robots.txt
Всякие автоматические обращение к AddUrl явно запрещены. Это сервис для людей.
Только что еще раз проверил. Содержимое файла robots.txt:
User-agent: yandex
Disallow: /
При добавлении главной страницы сайта Яндекс сообщает, что URL внесен в базу данных.
Хотите верьте, хотите - нет
А нормально, что Яндекс с маленькой буквы ? кстати AddURL идет не как Yandex ...