- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Да, конечно. Но там нет такого товарища: Yandex/1.01.001+(compatible;+Win16;+P). Пережрал у меня все картинки, а их у меня более 15мб😮, причем только картинки. Может этот робот на картинках только и специализируется?
Да это точно, а вот новенькие страницы Яндекс не хочет индексировать. Приходит I агент, берет robots.txt и index.php и отваливает.
Может кто знает способ заставить робота, погулять по сайту. А то устал ждать. Вроде и ссылок на сайт не мало.
В смысле? А как же все остальные роботы, в том числе и Яндекса, получают в том формате?
Я думаю это был глюк агента Р. Или сервер глюкнул.
Вот мои логи, все нормально. robots.txt почти такой же.
"GET /robots.txt HTTP/1.1" 200 15 "-" "Yandex/1.01.001 (compatible; Win16; P)"
В смысле? А как же все остальные роботы, в том числе и Яндекса, получают в том формате?
Формат в смысле, ответа сервера... А не содержимого robots.txt
Я думаю это был глюк агента Р. Или сервер глюкнул.
Вот мои логи, все нормально. robots.txt почти такой же.
"GET /robots.txt HTTP/1.1" 200 15 "-" "Yandex/1.01.001 (compatible; Win16; P)"
Судя по описанию, причина в том, что робот P может при запросе в заголовке Accept (обязательном для протокола HTTP 1.1) выдавать как допустимые только форматы картинок "image/jpeg image/gif", тогда сервер действительно может ответить 406-м кодом, т.к. он не может robots.txt конвертировать в картинку.
Думаю, скоро проблема будет исправлена...
"Mozilla/4.0 (compatible; MSIE 5.0; YANDEX)"
Личный IE работников Яндекса?(-:
И еще раз о якобы выясненных всех роботах Яндекса.
213.180.194.163 - Yandex/1.01.001+(compatible;+Win16;+H) - это кто?
Итого:
D - "быстрое" добавление и проверка
I - индексатор
M - подсветчик
Р - поиск картинок
H - ??
И это только те, у кого индефикатор Yandex. А ведь есть еще Addurl?
Надеюсь я не забиваю флеймом форум? Просто хотелось знать их всех;)
Я создаю свой счетчик, хотелось бы видеть динамику посещения роботами, разделяя их...
213.180.194.163 - Yandex/1.01.001+(compatible;+Win16;+H) - это кто?
Робот-зеркальщик. Приходит на сайт только по случаю подозрений на присутствие в базе Яндекса дубля страницы. Как следствие, приходит асинхронно и берет странички, как правило, по одной.
Что это такое: M - подсветчик?
Робот отвечающий за выделение слов в документе при выборе в поиске "показать найденые слова".
Выделение слов - называют подсветкой.
...Приходит на сайт только по случаю подозрений на присутствие в базе Яндекса дубля страницы...
А откуда появляются подозрения? Дубля страницы на другом доменном имени? Подозрение в плагиате или в нечестной раскрутке?