Vladimir SEO

Проектов на странице 5. Пагинация была сделана для оптимизации скорости работы интерфейсов. Пользователи, у которых большое количество проектов с большим количеством страниц/ссылок (300К+) жаловались на скорость загрузки страниц. Мы применили это решение, чтобы перед глазами были самые свежие данные, а не кешированные. 

Мы можем добавить селектор выбора количества проектов на странице, но чуть позже, в бэклоге пока все очень плотно по более приоритетным задачам.

Ничоси там объёмы у вас 😅

У меня без качелей.

Никаких ограничений нет. Уже сделал полную копию сайта на другой домен, сканируется без проблем. 
А с этим доменом какие то проблемы. Уже гугл адсенс начал ругатся что проблемы с некоторыми страницами. Мол тоже - Поисковый робот: файл robots.txt недоступен.
Хотя если скормить строницу сайта гуглу в консоле, то он её выплюнет с ошибкой, а через некоторое время, при проверке этой же страницы она уже в статусе просканирована. Я точно уверен что броблема в хостинге, но они упорно это отрицают. Сдругой стороны, другие мои сайты у них индексируются без проблем. 

Уже третий день бьюсь над этой проблемой. Ни я не тех. потдержка хостинга не можем понять в чём проблема. На других моих сайтах на этом хостинге проблем нет. Блокируется только один домен. 

Не только на телефоне )

Накрутка поведенческих или парсят сайт? Как бороться?