Вы не понимаете сам принцип антипиратского алгоритма. Есть международная организация CE. Ей делегированы права заниматься с агентами правообладателей (технически очень хорошо подкованы и оснащены), обрабатывать заявки в соответствии с законом и решить судьбы пиратов (есть некоторые кнопки). Члены ассоциации - Гугл, Бинг, вроде Фейсбук и т.д. По понятным причинам самый пиратский из всех - это Google (Яндекс, как мне кажется, тоже вступит в ассоциацию). CE принимает жалобу от пробла и выставляет её в Google, тот акцептит, и контент удаляется. В итоге юридический отдел перегружен. Попутно ведутся разработки всяких каверз вроде подмены пиратской выдачи лицензионной рекламой и т.п.
Чтобы юристы Гугла имели возможность нормально работать, был разработан где-то с 2012 и т.д. механизм отсева абузных сайтов. Сайты с абузами по определённым причинам просто перестают попадать в выдачу. Особенно это касается мелкоты. И сами не зарабатывают и другим не дают, оттягивая совокупно львиную часть запросов на себя. Если вы не солидный пират, а мелочёвка, то скорее всего придётся про Гугл забыть, или как два известных муз.сервиса можно начать контактировать с агентами проблов (то ли они жалобы отзывают, то ли ещё что-то) и с CE (взносы в фонд борьбы с пиратством, насколько помню).
Ну и конечно народная медицина не спит (фильтрация контента по агентам, просто не постить контент, опекаемый самыми злостными агентами), смена домена раз в полгода.
Сейчас механизм отсева пиратов ещё упростился. Все мелкие пираты - активные гс с кучей нарушений. Ручные меры таким и пинок под зад.
Удаление абузных материалов после жалобы - это постфактум. Гугл сообщал, что постфактум редко помогает.
То, что среди агентов пробла попадаются "кидалы" - есть такое. Но как мне кажется, ситуация "вор у вора дубинку украл" не беспокоит ни общественность, ни корпорациии, ни пользователей.
К "обращение в суппор и за деньги" этот блок не имеет никакого отношения.
Это новая "фича" в поиске. Не реклама и не разметка. На примере скрина с ней вышел косяк. Пример уходит в баг.
Результаты кстати у всех разные могут быть.
Есть там кнопка "отзыв", можно отписать, что не нравится.
Robots.txt управляет доступом робота (краулингом)/сканированием, а не индексацией.
Если закрыть в robots, старые материалы останутся, просто не будут обновляться в поисковых базах.
Метатег robots надо было использовать.
По поводу антипиратского фильтра читайте Chilling. Если есть доход и будете делиться им, всё будет в порядке.
Как настроите x-robots, не забудьте открыть в robots.txt доступ к тому, что решили удалить из индекса.
Палить нечего. Этим занимаются машинные интеллекты и бригады инженеров. Никто из нормальных живых людей туда не лезет и не интересуется.
а) У Google нет поддержки.
б) Основное правило Google. Сначала популярность, потом результаты выдачи. Непопулярный сайт находится в заднице выдачи - это естественно.
а) Посмотреть как Гуглбот
б) Добавить в качестве сайтмап фид (атом или рсс) с параметром показывать последние страницы
Фид Гугл сканирует в разы быстрее, чем сайтмап (изредка). В фиде достаточно держать 24 обновленнные страницы.
Тут можно логически порассуждать.
Ручные меры за ссылки. Обнулён рейтинг сайта.
"Более менее приемлимый уровень" - это те плюсовые факторы (включая "естественное", то есть не найденное проверкой купленное ссылочное), которые обеспечили позиции согласно рейтингу, снятому с заморозки за вычетом покупного. В общем, повезло.
И обвалили себе ссылочное. Но Google редко трогает сайты сразу. Ссылочный алгоритм проверки качества сайта сработает позже.
Выстрел себе в ногу. Только это не закрытие сайта, а закрытие доступа для робота. ПС просто перестаёт обновлять информацию по сайту и трёт описание в сниппете.
Тут происходит реиндекс. Что уже плохо. Запускается механизм сбора информации по сайту.
Сайт проходит первичный отсев.
И получает положенный пинок и за ссылки и за даунтайм. Потому что при потере ссылочного нельзя делать технические кульбиты. Но наверняка есть ещё 100500 зацепок, о которых топикстартер умолчал.
Многие пишут, что плохой аптайм и т.д. Гугл не любит. Это не совсем так. Если сайт работает криво, Google начинает реиндексировать разными категориями, постепенно вытаскивая косяки наружу. Вот и происходит взрыв.
Нет никакого оригинального контента для Google. Никого это не интересует. Кто утром встал и отжиматься умеет на кулаках, того и тапки. Если у вора рейтинг выше, чем у донора, он будет ранжироваться лучше. Отсюда мораль - следи за сайтом, чтобы не был он гс. А если Хабр спёр твою статью, пиши в суппорт Хабру и придумывай кары небесные, не беспокоя поисковики по всякой ерунде.
Может плохо смотрели (смотреть на www и без). Палитесь второй раз на ссылках, гугляете в бане долго. Вот такой расклад.
Примеры нужны.
Причём Google не обещал никогда индексировать ВСЁ. И постепенно учится фильтровать дубли.
Плюс даже наличие страницы в индексе не гарантия, что пользователю она попадётся в выдаче даже на сотом месте.
Ну ещё кривые руки и факт невезучести тоже нельзя отметать.
Программа Ауторшип предполагала связывание профиля с сайтом для последующего отображения в результатах поиска сниппета в виде квадратика из фотографии профиля. Всё.
Никаких подтверждений, защит от копипастов каких-то преимуществ и т.д. это не давало.
Пробный запуск данной программы выявил много неудобств, включая некорректное отображение в мобильной выдаче этих сниппетов. На сегодняшний день ауторшип закрыт.
