Алеандр

Чем "быстрые ответы" отличаются от индексирования? Чтобы сайт попал в быстрые ответы он точно так же должен быть проиндексирован.

Ок. Вы пишете, что "Яндекс четко указал". Где? Вот я открываю справку по роботс:
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html

И вижу там следующий текст:

Где вы прочитали про "четко указал"? Покажите явную 100% формулировку и все вопросы и споры сами собой отпадут.
А про суд - да, спасибо, улыбнулся )

А потом будет "Было проиндексировано несмотря на запрет в robots.txt". Сомневаюсь, что эти директивы им не побоку, они давно стали рекомендательными.

Там другой смысл, как мне кажется. Открывается самозанятость по профилю вебмастер. Раз у вас есть доступ к этому сайту, значит вы его вебмастер. Какая разница, кто является владельцем? Тоже самое, как получать доход по профилю вебмастера от размещения рекламы в своей ВК группе,  владельцем площадки тоже является другое лицо. Если конечный получатель средств тот же, кто разместил рекламу и кто оформлен - не вижу никаких проблем. Вот если оформлен один, а деньги налом потом передаются другому человеку, т.е. другой бенефициар - вот тогда уже будет атата, но не потому, что реклама на сайте другого владельца.

Я когда-то давно, много лет назад, искал домен себе под проект. В том числе и среди зареганных красивых имен, за которые готов был немного заплатить. Ну чисто за "красоту" и звучность. Ибо ничем большим они не интересны. Ходил по всяким товарищам, предлагал купить их домен. В ответ мне заламывали какие-то несусветные цены просто за "красоту". Забил, зарегал домен с хорошим звучанием и сделал проект. Так вот, эти товарищи - они мне уже стабильно раз в год присылают письмо и предлагают купить все тот же, никому до сих пор не нужный домен.

Если на доменах ничего не было, не содержали сайт и не имеют истории - то они мало что стоят. Особенно мало они стали стоить после того как были добавлены сотни доменных зон и выбрать себе домен под проект стало еще проще. Если это не что-то типа expert / mama или аналогичного звучания - вряд ли за них можно много выручить.

Самое логичное, наверное, выложить список таких доменов в соответствующей теме и собрать заявки на них, посмотрев интерес. На те, на какие будет интерес - можно поторговаться, а на те, которые ни туда ни сюда - они едва ли будут интересны дороже цены продления.

Ну и на практике, я за последние годы очень много доменов зарегистрировал из свободных, с прекрасными звучными именами, с минимальной историей и тем, что они были в индексе поисковиков. Вполне успешно на них создаются сайты. А на нулевиках - исключительно тогда, когда имя сайта/домена идет приоритетом перед его пузомерками и собираются делать что-то супер коммерческое. Вот если такие есть - будут что-то стоить, если нет - раздать или сбросить.

А как вы, в целом, собираетесь защищаться от действий на чужом сервере? У меня давным давно аналогичная проблема - Вебмастер показывает невероятное количество запросов в поиске по ключам, по которым потом нет трафика на сайте. Тут или этот трафик у меня же заблокирован как ботный, либо они вообще после не переходят на сайт, т.е. имитируют поиск, имитируют клик, но по факту на сайт не переходят. Опять же, если у вас они и переходят, но уходят в отказ, что кроме блокировки таких ботов вы можете сделать? Ничего. Дальше ходить по сайту и имитировать пользователя вы их не заставите. А это опять вернет вас к ситуации "в поиске кликнули, сайт не посетили, вернулись в поиск".

Только cat / zcat / less / grep / sed/ awk! Только хардкор! ))
Вообще, все сильно зависит от целей и задач. Кому-то и awstat хватит, а кому-то и что-то мега-сложное или красивое подавай.

Через htaccess отдавайте по адресу роботса файл с нужным содержанием, в зависимости от домена обращения.

А нравится ли? Вот я прошел по этим 10 сайтам, пытаясь найти хоть толику нужной мне информации. Ведь сразу понять, есть она там или нет - невозможно. Ты заходишь на сайт, а там тебя встречает портянка на 25 тыс знаков, с кратким содержанием. И ты начинаешь листать по этому содержанию, пытаясь найти ответ на твой вполне себе простой вопрос. И не находишь. Потому что его там нет, не было и быть не может. Но в итоге, Метрика зачтет посещение как успешное, ведь пользователь провел пару минут на сайте. А то, что он в это время не изучал полезную информацию, а пытался найти ее - ну кого это интересует )

Не исключаю, конечно, что в некоторых случаях и правда "пипл хавает". Ты ему - "дай сравнение диска А и диска Б, тесты скорости". Из поиска отправляют туда, где написано: "Мы ничего не знаем про А и Б, но смотри, есть классный диск В и только сегодня его можно купить в Яндекс.Маркете занедорого". И к этому - виджет продаж Я.Маркета. Пипл перешел, купил, всем профит. Ну а то, что не было ответа на вопрос и втюхано не то, что изначально искалось - так это современные реалии для "пипла, который хавает".

И нет тут никакого ни качества, ни пользы, ни логики, ни смысла. "Создавайте обертку, втюхивайте маркетинг" - вот современный девиз. В принципе, если вдуматься, становится очевидным, что не имеет значения ни все эти "читайте правила Яндекса", ни "Анализируйте Вебмастер", потому что главное - ввалите бабла, качните траст, поделитесь заработком и будет профит.

У меня нет сайтов в этой тематике и экспертом я не являюсь. Я выше написал, перечитайте: меня интересовала информация как обычного пользователя и которую на первых трех страницах я не нашел, поскольку все позиции заняты маркетинговыми материалами, вместо информации по теме. И меня это уже не удивляет, учитывая как позиционируют поиск Яндекса, где траст банковского сайта стал превыше траста сайта по компьютерам, а обертка в виде красивой картинки стала преобладать над содержанием в материале. Больше удивляет, что многие этим довольны и радостно предлагают вебмастерам менять их сайты под пустышку-обертку, вместо полезного контента.

И потому создают выдачу, рассчитанную на умственно отсталых, но в красивой обертке. Идеально ¯\_(ツ)_/¯