Интересный материал, раскрывающий некоторые важные нюансы, например то, что малополезный и маловостребованный контент - это раздельные понятия.
Эти понятия насколько помню год назад обсуждали на серче, и вы в той теме былиНет там ничего интересного, ложь на 90%
Прямого редиректа robots.txt => robots_net.txt нет. Есть редирект !www -> www
Пусть robots.txt самый наикривейший, это не делает
То что редирект с !www -> www это одно, он должен быть ( это про зеркало)Но, к нему есть дополнительный редирект, для неосновного бота robots.txt => robots_net.txtИ в этом случае нет ни правильного, ни кривого robots.txt, есть ошибка с неопределенными параметрами.Которую разрабочик просто не учел, что кто то додумается на такое :)Ищи и исправляй, и все будет норм. На этом все, тема закрыта, надеюсь.сам не найдешь, ищи программера
Да я понял! Вопрос как ты его увидел??? robots.txt => robots_net.txt
1. Выше писал, один робот приходит, другой удаляет2. Анализ нижней картинки это подтвердил, осталось найти бота
https://trafaret.net/robots.txt
Но... раз тебе известен robots_net.txt, значит где-то это засветилось... Шаман однако, колись.
Прямо же написал, убери редиректLocation: https://www.trafaret.net/robots_net.txt
Не буду уподобляться яндексу, отвечу на поставленный вопрос.
Я уж не знаю, кому мне то уподобляться? Писал же уберите лишние редиректы 301, не доведут они до добраPS Никогда не пеняю на Яндекс, а иногда хочется. НО, всегда ошибка почему то на сайтеУберите редирект с robots.txt => robots_net.txt 🤣Удачи!
Прошло две недели, в индекс заново влетели порядка 6000 страниц (4000 сегодня только). Но позавчера уже был массовый влет около 2000 а потом вылет 1800 по причине "страницы дола была недоступна", хреналысого, аптайм 100% в последние полгода.
В вебмастере есть проверка ответа сервера. Там штук 6 ботов.Если для одного из ботов сайт недоступен, сайту хана
Один бот индексирует, неработающий выкидывает.Если так, ищем где и кто блокирует этого бота на хостинге
Например, на этих страницах алгоритмы зафиксировали нарушения:
Далее примеры страниц. Короче, дали прямо понять, что проблема в стыренных текстах. Накидал им кучу дорвеев, которые сперли тексты с этих страниц. Тексты в то время сам писал, фотки свои (их на дорах убирают, боятся). Посмотрим, что ответят, но в целом - это пипец, когда тебя обвиняют в том, что у тебя же сперли контент.
Т.е нужно немного перефразировать написанное и определить алгоритм))1. Яндекс не определяет автора оригинального контента ( true )2. Яндекс определяет дубли контента ( true )Итого имеем твой сайт и 9 дорвеев ( к примеру) твоего сайта. Вопрос: Как определяются сайты с дублями контента?Ну или как подсказать Яндексу ( боту ), где дубли?
Уже давно просто, МПК это они еще добавили, но совсем немного
страница может содержать не качественный контент, но быть востребованной))
Начинаешь вырисовывать правильный алгоритм🤣, который уже используется некоторыми
Наблюдаю 6 сайтов с уровнем написания статей от поверхностного рерайта (но осмысленного) до оригинального авторского изложения. Пока ни один фильтр МПК не получил.
Вот и я о том же и скорее всего не получат🤔 Вопрос в каком месте он решил бороться с рерайтом и полными дублями, если сами пишете, что весь топ забит дорвеями? А ваши сайты с оригинальным контентом в попе.
Это 100% практика. Ерунду тут пишите вы. Все остальное меняется. Можно сделать сео под текущие реалии, а через полгода благополучо вылетить из топов.
Можно сделать и благополучно вылететь из топов, согласен.Была тема на серче - "Почему яндекс выкидывает из ТОП1 за сотню" , а не понижает позиции.Тема ушла, внятного ответа и предположений не было. Полгода времени понадобилось, чтобы найти причину, найти решение. И все вернулось к тому, что наработано практикой за десятилетия. Никто и не говорит что если заняли ТОП, то вы там навечно. На данный момент основное в теме - это выкинули копипастеры. Нет с ними проблем. Нет проблем с сайтами как вы выразились с многогранным контентом. А, дзен надо было выкидывать из топа по своей теме, еще 5 лет назад, а вы и сейчас о том жеВ йоге есть понятие -"здесь и сейчас" , не ищите алгоритмы, ищите решение на данный момент, при данных условиях
