Некоторым сайтам помогает 301 в ответ на DMCA.
Некоторым уже как мертвому припарки (после нескольких лет жалоб), хотя может и другие причины.
Но хз был ли именно фильтр и где его смотреть.
Как Вы определили фильтр?
DMCA выбрасывает с поиска. Внизу в гугле будет:
В ответ на жалобы, поданные в соответствии с законом США "Об авторском праве в цифровую эпоху" (DMCA), мы удалили некоторые результаты (3) с этой страницы. Вы можете ознакомиться с жалобами на сайте LumenDatabase.org: Жалоба, Жалоба.
Он сканирует нормальные или левые страницы?Движок не размножает дубли?
а то есть ты не знаешь сколько у тебя страниц на сайте
80к страниц
Ничего не понятно
Сколько страниц на сайте и сколько из них зелёные в консоли
Зеленых в консоли 70к50к - то через site:33к страниц не-фильтров и плюс какое-то количество фильтров. Точно не скажу. Не могу спарсить сайт сейчас, скорость интернета медленная
консоль показывает 70кстраниц без фильтров 33к, городов 900, но не во всех много фильтров, сколько страниц с фильтрами хз
15к/мес с гугла, 50к+/в индексе гугла, 5+ лет
Я сходу нашел 3 шт, одна из которых 2 дня назад обновилась.
Но ПСами надо уметь пользоваться не только чтобы найти движок, но и посмотреть на конкурентов.
Вы в тему пришли похвастаться? Нашли? Посоветуйте что нашли.
Если я правильно понял задание:
Disallow: /shop Allow: /shop/
Апд. Но лучше через мета на странице категории. А то ссылки с категорий не увидит ссылки на товары.
<meta name="robots" value="noindex,follow">
У меня попали в индекс страницы с мусором в адресеЗапретил через robots, и прописал canonicalВ выдаче встречаются чуть чаще чем никогда
