В данном случае самый простой и правильный вариант. Т.к. при любом закрытии в robots нет гарантии, что url не будет проиндексирован (может быть НПС, однако содержимое документа вежливый бот не откроет при запрете в robots.txt, следовательно и в реальной выдаче он будет плохо искаться).
Либо можно отдавать только "авторизованным" - при вводе e-mail ставится кука, при скачивании документа проверяется эта кука - если она есть, отдаётся контент документа. Нет - редирект на ввод емэйла.
Прогоном уже точно не убрать.
Зачем??? 😮 Вы хотите на оферту собирать трафик с поиска? Сделайте тогда по-классике: добавьте картинку, содержание (обязательно с кнопкой "Скрыть"), видео, напишите историю возникновения оферт, для чего нужны оферты и чем отличаются от договоров, как их составлять, сделайте перелинковку с аналогичными страницами договора, контактов и условий доставки. И обязательно через абзац адсенс и РСЯ. Топ гарантирован 😂
Лучше крипту майнить :)
1. Открываете лог, находите ip.
2. Запускаете nslookup. Вводите ip, получаете в ответ доменное имя вроде bot.yandex.ru
3. Сравниваете с доменом из хелпа, делаете предварительные выводы.
4. В nslookup вводите bot.yandex.ru - получаете ip. Он должен совпасть с ip из п. 1. Делаете окончательный вывод.
1. Удалить новые сайты-конкуренты, появившиеся за это время. В т.ч. новые страницы, в т.ч. спёртые у вас.
2. Откатить изменившиеся алгоритмы поисковых систем.
3. Отменить новые технологии - протоколы, вёрстки, стили и т.п.
4. Убедить людей перестать пользоваться ютубом и соцсетями всуе.
Может что-то упустил, но это базовый минимум.
Да, это актуально для завершившихся десяти лет. Для следующей десятилетки, возможно, придётся вносить иные коррективы.
Чаще происходит наоборот: непотребная реклама рядом с нормальным контентом. Понятно, что таких паразитов среди нормальных рекламодателей доли процента, но одна такая падла способна засрать всё.
Вот именно. Но Яндекс будет до последнего пытаться усидеть на всех стульях. Ибо господдержка.
А чем, собсна, голландский яндекс отличается от американского гугла юридически? Почему yandex.ru признают значимым ресурсом, а google.ru нет? И почему, если сайт голландской компании Яндекс признали значимым в РФ, они должны менять структуру акционеров? Следуя такой логике, если nasa.gov признают значимым для РФ, наса должна перейти под управление роскосмоса?
С большой долей вероятности он будет уже прокэширован в браузере посетителя. +CDN.
Это да, крайне желательно. Но опять же повторюсь, какой-нибудь счетчик, кнопка, виджет или ещё какая хрень, может свести все старания на нет. Даже если сайт не увешан всякой ерундой и html-код мало похож на типично-вордпрессовский.
