Виктор Петров

Сейчас каждый второй сайт, приходящий на аудит, закрыт от сканеров и парсеров - и тупо, по дурному. ТС интересуется, как обойти эту проблему.
Бегет - хостер, уже хронически примахавший этими блокировками, которые ни от чего не защищают, а жизнь персонально мне усложняют. Я не могу даже текстовым анализатором воспользоваться. А боты туда заходят запросто.
И какая разница, как реализована блокировка - фларой, антиботом или ещё чем, если в блок попадает гуглобот, или страны кроме РФ, или обычные сеошные парсеры.

Судить о ПФ только по данным Метрики - так себе идейка. Да и в магазины ходят покупать, а не торчать часами, скакать по страницам и вот это всё.

Фрог платный. 

Но его популярность связана ещё и с наличием крэка. 
Что касается защиты beget - там блокировка ботов без куки, не более. То есть блочит все сервисы тупо, а ботов с профилями пропускает изи.

Там есть возможность выбрать User-Agent. Иногда помогает обойти проблемы с доступом.
Но вообще - всё чаще вижу попытки блокировок всего и вся. От реальных зловредных ботов это не защитит никак, а вот заблокировать поисковых ботов и сторонние сервисы люди умудряются.

Это очень смешно.
А почему вы не ищете на таджикских форумах? Хотя да, даже жрачку на великах развозить - чуть интереснее. Раза примерно в два.

Напрямую - не влияет.
Иерархия заголовков на странице значения не имеет. Гуглоиды вообще говорили, что бот за h1 берёт то, что написано самым большим шрифтом, и может проигнорировать тег в пользу оформления. Сомневаюсь, конечно, но чего б и нет.
В целом слайдеры - это какой-то пережиток и дизайнерское извращение, придуманное под десктопы сто лет назад. Но чтоб слайдер всерьёз чему-то мешал (кроме тормозов в загрузке страницы) - неа, не видел.

В эти цифры доблестные собякинцы записывают всё, что угодно - какую отмашку сверху дадут. Сокращать, увеличивать, искажать - как угодно.
Я тут выше, кажется, уже пару случаев упоминал. Свезли мужика в больничку, укололи сосудорасширяющее - у него артерия лопнула. Умер. понятное дело, от ковида.
И такого добра - в промышленных масштабах. Машина пропаганды и подтасовок работает на полную катушку.

Понял.
Из того, что я добавлял ещё года полтора назад, модерацию не прошло ничего. Белые, вполне пристойные коммерческие сайты с хорошими позициями и репутацией.
В общем, я на это чудо забил, тем более, что его заменой dmoz так никто и не признал. Ради гипотетической ссылки - ну нафиг, каталогов много.

В смысле - 5 минут? Они модерацию убрали? Таких тормозов с модерацией даже в DMOZ не было.

Почитайте о tf*idf, bm25, обратном индексе, чтобы делать осознанно, а не шаманить.
Сквозные блоки закрывают тогда, когда на странице слишком мало контента, а пачки ключей в навигации и сквозных блоках размывают семантику страниц. В результате все страницы примерно одинаково релевантны одним и тем же запросам и каннибалят друг у друга ключи.
В таком случае есть смысл подумать - а везде ли нужны эти сквозные блоки и чрезмерно большие меню. Если из шаблона их убрать нельзя - надо искать способы скрыть их от поисковиков. Noindex - это только один из вариантов, и далеко не лучший.