Идеальный роботс для нормального поисковика пустой!!!
А по поводу 2500 страниц не в индексе, а вы хотя бы для себя, пытались понять почему они не в индексе???? И что то сделать для того, чтобы они были в индексе?
Akselbrandt, Ну у меня чистые новостники. т.е. сайты собирающие событийный трафик, вообще метку не получали...да и...они воспринимаются думаю немного по другому, не так как статейники, которые на качественную статью могут годами трафик получать...
Я уже писал, если вы считаете что Ваш контент действительно качественный, то покапайте в сторону технической оптимизации сайта, и закрытия того, что Яша может считать "малополезным" для Яндекс поиска (с реальной полезностью/бесполезностью для людей, это имеет мало общего).
т.е. условно, вся папка /user/ она ведь сделана для людей, а не для ботов, по чем ты в ней ранжироватся то будешь...имени пользователя, или еще какой то ерунде.... Гугл вполне нормально понимает, что это профили пользователей сайта, и на полезность бесполезность основного контента сайта, они ни как не влияют....а у Яши с этим явные проблемы.
Или условная страница "Новости - Раздел такойто - Страница 25", в ней нет ничего плохого, но в выдачу такая страница никогда не попадет, в выдаче у тебя будет страница "Новости - Раздел такойто" или в крайнем случае "Новости - Раздел такойто - Страница 2", а чтобы сохранить все таки хоть какие то ссылки на перечисленные новости, у тебя есть "Новости страница 1"-"Новости страница 1001", на которых все ссылки на статьи перечисленные в разделах, у тебя есть.
Ну и, не актуальные материалы которые нет смысла актуализировать, т.е. утрировано немного, но я думаю смысл будет понятен, статья "Что такое Гугл PR и как его поднять" )))), Гугл PRа нет, поднимать его уже ни кто не пытается, делать из этой статьи что то на уровне исторической справки "Когда то у Гугла был PR и как его поднимали", как по мне, это лишняя трата времени, такую статью проще удалить, и поставить редирект на что то более свежее о продвижении в Гугл....
По разному, иногда в раздел, иногда на статью на схожую тематику. Яж говорю, я готовился к этой обрезке давно...гдето с зимы, просто у меня этот сайт, не в ТОП3 приоритетных, по этому на нем очень многое я делаю долго....тут пришлось им недельку позаниматься плотно, и выполнить многое намеченное.
Скажем так, мне и когда закрывал, казалось это глупостью. Но по скольку сайт был под фильтром, а Яндекс и Глупость, это слова синонимы, то решил попробовать. Ну и в плюс, некоторые картинки, у меня в мобильном поиске от Яндекса есть непосредственно в выдаче, и делают результат с моим сайтом, более привлекательным.
Обрезку контента делал по вот этому кейсу от Ахрефс https://ahrefs.com/blog/seo-strategy/ , В принципе планировал сделать ее скорее для Гугла (а получилось для Яндекса), ну и да, понятно что страницы удалил, но отдают они 301, а не 404.
Весь малополезный ))) Все то, что не дает трафика с ПС, или если дает, то одного калеку в месяц. Например полностью раздел /user/, закрыл все кроме первой страницы со списком материалов подкатегорий, и т.д.
А, тогда еще картинки для основного бота Яндекса закрыл, оставил только для робота картинок, он почему то картинки в ВМ признает некачественными страницами....потом назад открыл.
А пообрезал, т.е. не просто закрыл от индексирования, а именно удалил, небольшое количество (до 10%) старых материалов, которые утратили актуальность, были написаны так себе, и переписать их на хороший актуальный материал, нет возможности...
Unirea, А были рентабельные СМИ создающие контент силами своих журналистов????
Я не беру те "СМИ" у которых Ctrl+C Ctrl+V 80% материалов, еще 17% это перевод международки с БибиСи или Рейтерса, а остальные 3% материалов да, созданы собственными журналистами.
Или те которые дотируются государством, или просто богатым человеком, для лоббирования собственных государственных/политических/бизнес интересов.
Я таких не знаю, в 2013 году и ранее были те кто выходили примерно в ноль, по честному, с рекламы, но сейчас они и 70% своих затрат не могут окупить.....
А какой смысл тогда снимать???? Есть же простая математика, столько то я зарабатываю под МПК с БС, сколько то я зарабатываю без МПК и БС.
Я например БС не снимал после попадания под МПК, на одном сайте даже наоборот, добавил))) Все три сайта попадавшие под МПК из под него вышли с блоками ссылок. По двум вообще ничего не делал. По третьему, после второго попадания под МПК, по закрывал для робота Яши малополезные для него разделы (для Гугла у меня роботс вообще пустой, аналогично было и с Яшей, но он видимо не так хорошо справляется с пониманием полезная/бесполезная страница), и выполнил несколько манипуляций по обрезанию малополезного контента (я это долго планировал и готовил сделать для Гугла, после прочтения кейса на Ахрефсе, а метка Яндекса послужила чем то вроде волшебного пинка, пришлось меньше готовится, а просто взять и сделать). Ну и написал для третьего сайта клоаку для Яндекс бота, барузера и толокеров, только поставил, и через пол часа метка ушла))) я ее и убрал, от греха подальше, бо за клоаку получить можно не просто МПК )))
ВЭБ конечно идиотизм тут рассказывает про ГСы с говноконтентом, но некая взаимосвязь комплекса положительных метрик у сайта, и наложением фильтра МПК как по мне есть. Так что, тем кто уверен, что у него хороший авторский контент (не рерайт или школо копирайт по два бакса), я бы посоветовал провести аудит сайта на предмет, что лишнего может видеть на вашем сайте Яша, и закрыть все это лишнее от его ботов, и дальше подумать, как вы можете улучшить поведенческие, социальные и ссылочные метрики сайта.
Вы говорите про хобби, а в этой теме люди обсуждают бизнес. Это все таки две разных вещи, с очень разными подходами.
Ну вот, только по НК НЧ.
И при том, тут перевод в обратную сторону. Русский Гугл и английский, это два очень разных Гугла, и то "качество" которое проходит в рунете, часто не проходит в EN. Так же как с яндексом, то что прокатывает в яше в EN, ты никогда не запхнешь в Московскую выдачу.
P.S. Кстати посмотрел, что творится с моими автопереводами в EN Яше, вот для него это самое оно ))), позиции местами даже лучше чем у оригинальных страниц в Яндекс ру )))
