Ну ладно ещё с принципами robots.txt можно тупить. Но КАК можно запихать ДВА разных кода ответа в ОДНО целочисленное значение?
Гугл, похоже, по-максимуму насувал ютуба на большинство запросов. Просто на некоторых запросах людей устраивает видео, а на некоторых они таки добираются до текстов (или на них выдача не менялась). Например, 2 из одной, казалось бы, оперы запроса: "как вставить код адсенса на сайт" и "как написать регулярку для e-mail". Чувствуете разницу? Отсюда:
1) эти непонятки в сёрчконсоли с позициями/показами/CTR
2) разные % просадки по трафику
3) слабая корреляция с абстрактными "тематиками".
Пока не понятно только, почему у некоторых людей траф вырос, если предположить, что позиции не менялись. М.б. на страницах есть блоки видео, которые и попали в топ?
Ща всё будет... все эти "личные кабинеты" и прочие "полностью раскрывающие запрос" в ютуб переберутся :D Только вот биржи видеокопирайтинга появятся - и в путь. В 2016 году, кстати, вопрос уже поднимался.
Видео-то, конечно, исключительно высококвалифицированные энтузиасты-филантропы снимают и заливают, ради науки и просвещения только :)
В данном случае самый простой и правильный вариант. Т.к. при любом закрытии в robots нет гарантии, что url не будет проиндексирован (может быть НПС, однако содержимое документа вежливый бот не откроет при запрете в robots.txt, следовательно и в реальной выдаче он будет плохо искаться).
Либо можно отдавать только "авторизованным" - при вводе e-mail ставится кука, при скачивании документа проверяется эта кука - если она есть, отдаётся контент документа. Нет - редирект на ввод емэйла.
Прогоном уже точно не убрать.
Зачем??? 😮 Вы хотите на оферту собирать трафик с поиска? Сделайте тогда по-классике: добавьте картинку, содержание (обязательно с кнопкой "Скрыть"), видео, напишите историю возникновения оферт, для чего нужны оферты и чем отличаются от договоров, как их составлять, сделайте перелинковку с аналогичными страницами договора, контактов и условий доставки. И обязательно через абзац адсенс и РСЯ. Топ гарантирован 😂
Лучше крипту майнить :)
1. Открываете лог, находите ip.
2. Запускаете nslookup. Вводите ip, получаете в ответ доменное имя вроде bot.yandex.ru
3. Сравниваете с доменом из хелпа, делаете предварительные выводы.
4. В nslookup вводите bot.yandex.ru - получаете ip. Он должен совпасть с ip из п. 1. Делаете окончательный вывод.
1. Удалить новые сайты-конкуренты, появившиеся за это время. В т.ч. новые страницы, в т.ч. спёртые у вас.
2. Откатить изменившиеся алгоритмы поисковых систем.
3. Отменить новые технологии - протоколы, вёрстки, стили и т.п.
4. Убедить людей перестать пользоваться ютубом и соцсетями всуе.
Может что-то упустил, но это базовый минимум.
Да, это актуально для завершившихся десяти лет. Для следующей десятилетки, возможно, придётся вносить иные коррективы.
Чаще происходит наоборот: непотребная реклама рядом с нормальным контентом. Понятно, что таких паразитов среди нормальных рекламодателей доли процента, но одна такая падла способна засрать всё.
