Попробуйте так:
User-agent: YandexBot
Disallow: /
User-agent: Googlebot
User-agent: *
Disallow:
Ещё, как вариант, можно закрыть в роботсе для всех роботов все адреса, кроме URL фавиконки.
https://techaudit.site
https://saitreport.ru
http://www.siteliner.com
Если URL не меняется, то ссылки вес будут передавать.
Вот так, насколько я понимаю:
RewriteCond %{REQUEST_URI} !\?
RewriteCond %{REQUEST_URI} !\&
RewriteCond %{REQUEST_URI} !\=
RewriteCond %{REQUEST_URI} !\.
RewriteCond %{REQUEST_URI} !\/$
RewriteCond %{REQUEST_URI} !searchs/
RewriteRule ^(.*[^\/])$ /$1/ [R=301,L]
Переспам у вас в описаниях автокресел, которые на странице раздела для каждого товара открыты для индексации.
Тогда ждите, когда в сохранёнке http://hghltd.yandex.net/yandbtm?fmode=inject&url=http%3A%2F%2FAvtoLombard.msk.ru%2Fkontakty%2F&tld=ru&lang=ru&la=1539765888&tm=1540026701&text=url%3Ahttp%3A%2F%2Favtolombard.msk.ru%2Fkontakty%2F&l10n=ru&mime=html&sign=53fbd099e61dba5d4b1acc9fccfe0efe&keyno=0 появятся новые адреса и контакты и надейтесь, что аффилиат снимут. Либо просто двигайте http://avtolombard.msk.ru/, а https://brightfinance.ru продвигайте в гугле.
Так вы внутренние ссылки тоже на новые меняйте, чтобы люди сразу переходили на новые урлы. А для поисковиков настраиваете скорость сканирования в соответствии с мощностью вашего сервера, если боитесь, что будет сильная нагрузка:
https://yandex.ru/support/webmaster/service/crawl-rate.html
https://support.google.com/webmasters/answer/48620?hl=ru
Samba1982, попробуйте по запросу "семена чиа" найти хоть один рецептурный сайт в Яндексе. А у вас сайт именно рецептурный. А по запросу "семена чиа рецепты" просто сравните статьи из топа с вашей. Я сейчас не говорю про качество - просто откройте в двух вкладках свою статью и статью из топа - это абсолютно разные по смыслу вещи.
Меню Configuration - Include, туда добавить:
http://site.com/ru/.*
http://tech.site.com/ru/.*
Для надёжности можно домен и поддомен парсить по отдельности.
Max13107, с каким сайтом у вас аффилиат?
