- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет, бот яндекса странно видит урлы. Берёт относительный урл, к нему через слеш прописывает полный урл, и пытается по этому адресу перейти. У кого такое было? Что делали?
Строчка из лога:
123.12.49.1817 - - [02/Dec/2018:02:21:30 +0300] "GET /rasdel/stranica/https://www.site.ru/rasdel/stranica/ HTTP/1.1" 404 4261 "-" "Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)"
dolya, это у вас ссылки значит есть такие кривые на сайте, или на чужих сайтах ссылка на ваш сайт в таком кривом виде.
но код 404, волноваться неочем.
foxi, не, это системная ошибка, сотни таких попыток. Битые ссылки проверяю краулерами регулярно, это не они.
foxi, не, это системная ошибка, сотни таких попыток. Битые ссылки проверяю краулерами регулярно, это не они.
Прислушайтесь к мнению выше... Я было тоже... а потом нашел на сайте бочину... от меня это было...
foxi, не, это системная ошибка, сотни таких попыток. Битые ссылки проверяю краулерами регулярно, это не они.
ну а сами страницы вы проверяли ? по ним 404 ?
и ссылки смотрели битые в яндексе ?
18ans, пробиваю этот "битый" урл поиском по всему коду - реально ничего не находит. +гугл вообще не ходит по такого рода ссылкам - а яндексбот будто где-то версию сайта с такими ссылками увидел - записей очень много. Такое раньше бывало по моей вине, опыт есть, к сожалению.
---------- Добавлено 02.12.2018 в 15:13 ----------
xVOVAx, всё проверили. страницы такого рода конечно отдают 404.
dolya, дело 100% в ссылках, если не с вашего сайта то с чужих, о которых знает яндекс.
1. Это не Яндекс-бот, а китаец, который им прикидывается.
2. Странно, что ссылки подобного вида у вас отдают 404 код, а не 403. Найстройте разрешенный шаблон допустимых URI.
18ans, пробиваю этот "битый" урл поиском по всему коду - реально ничего не находит.
Пробивать надо такие ссылки:
<a href="rasdel/stranica/"></a>
То есть, где после первой кавычки нет слэша. Правильная относительная ссылка должна быть такой:
<a href="/rasdel/stranica/"></a>
Дабы не плодить темы, спрошу тут: скажите, вот поставил запрет в файле htaccess для ботов в том числе и бингботу, а он один хран обходит сайт https://hkar.ru/WvTN в чем может быть проблема? или так и должно быть? сорри за тупой вопрос