- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На всех моих сайтах (как проиндексированных, так и вылетевших) в последнее время робот Yandex/1.03.003 (compatible; Win16; D) смотрит только файл robots.txt
Причем делает это два раза подряд с перерывом от 30 до 60 секунд.
Вот, примерно так:
87.250.254.15 - - [01/Jun/2007:12:20:49 +0400] "GET /robots.txt HTTP/1.1" 200 26 "-" "Yandex/1.03.003 (compatible; Win16; D)"
robots.txt в основном такие:
Disallow:
в некоторых прописан Host: site.ru
Другие роботы смотрят robots.txt по одному разу и ходят на остальные страницы.
Хочу спросить:
Теперь так положено, или это у меня что-то не так
Сейчас посмотрел на всех свежедобавленных в адурелку яндекса сайтах, везде как и положено: сначала тыкается в роботс, а через секунду в морду
Наверно все-таки глюк
сначала тыкается в роботс, а через секунду в морду
а у меня два раза в роботс и всё...
При отсутствующем robots.txt тоже два раза бъется (без аддурлки) и дальше не идет
87.250.254.15 - - [01/Jun/2007:12:26:45 +0400] "GET /robots.txt HTTP/1.1" 404 216 "-" "Yandex/1.03.003 (compatible; Win16; D)"
запихнул сейчас в аддурлку этот-же проиндексированный урл - робот стукнулся в роботс и в морду:
213.180.206.41 - - [01/Jun/2007:15:01:50 +0400] "GET / HTTP/1.1" 200 2202 "-" "Yandex/1.03.003 (compatible; Win16; D)"
Народ, ну неужто никаких мыслей по этому поводу нет?
Почему у меня робот два раза стукается в robots.txt и дальше не идет?
Наверное, все посмотрев на вашу репутацию, стесняются посоветовать проверить роботс.
Что http://www.yandex.ru/cgi-bin/test-robots говорит по этому поводу?
А что вообще должен делать робот D.
Походу что ему было надо то он и проверил и забрал.
А что вообще должен делать робот D.
Походу что ему было надо то он и проверил и забрал.
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
Artlight, такая же ситуация на одном сайте
Ну он и обратился, глянул морду - в сети, проверил роботс - не запрещена.
Сволок. Все остальное делают другие боты.
Ну он и обратился, глянул морду - в сети, проверил роботс - не запрещена.
Сволок. Все остальное делают другие боты.
Логика немного не та у Вас - он сначала проверяет роботс, а потом уже к морде идёт...
Вы наверно не очень внимательно прочли первый пост:
На всех моих сайтах (как проиндексированных, так и вылетевших) в последнее время робот Yandex/1.03.003 (compatible; Win16; D) смотрит только файл robots.txt
Причем делает это два раза подряд с перерывом от 30 до 60 секунд.
ключевые слова "только robots.txt"
У меня всего на одном сайте подобная ситуация... Касается роботса два раза, а морду не трогает.
ДОБАВЛЕНО: сейчас проверил ещё раз - всё нормально стало работать!