livetv

1. Покажите EXPLAIN

2. Вот сейчас у себя написан запрос с NOT EXISTS и с LEFT JOIN

NOT EXISTS не использовал индексов, в то время как  LEFT JOIN использовал и в Extra числилось "Not exists"

Это удобно
Но у себя такого пока не сделал

Тяжелые выборки все равно имеет смысл кешировать
Смотрите top процессов

У себя на невордпрессе такое заметил

Посещений робота яндекса таких страниц нет

А реферер яндекс есть

Пару случаев было и с гугла

Возможно это имитация реферера

Обн: При этом в ГА таких входов нет

Нездоровая канитель

Скрыл через Stylus

Скрывает, правда, не всю строку, а только название

Некоторым сайтам помогает 301 в ответ на DMCA.

Некоторым уже как мертвому припарки (после нескольких лет жалоб), хотя может и другие причины.

Но хз был ли именно фильтр и где его смотреть.

Как Вы определили фильтр?

DMCA выбрасывает с поиска. Внизу в гугле будет:

В ответ на жалобы, поданные в соответствии с законом США "Об авторском праве в цифровую эпоху" (DMCA), мы удалили некоторые результаты (3) с этой страницы. Вы можете ознакомиться с жалобами на сайте LumenDatabase.org: Жалоба, Жалоба.

Он сканирует нормальные или левые страницы?
Движок не размножает дубли?

80к страниц

Зеленых в консоли 70к
50к - то через site:
33к страниц не-фильтров и плюс какое-то количество фильтров. Точно не скажу. Не могу спарсить сайт сейчас, скорость интернета медленная