Если книги в гос. библиотеке являются собственностью государства...;)
Именно по этому и сказал, что аналогия. имхо, не уместна.
Они там размещаются не на основании Закона "Об авторских правах". Имхо, каждое издательство обязано передавать оговоренную часть тиража печтной продукции для библиотечного фонда.
С этой стороны пример с библиотеками не имеет почвы для аналогий.
Третий раз повторюсь - "добавь" в Яндекс и посмотри, что он ответит. Удивление будет еще больше...
Так, не так, перетакивать не будем...;)
Я же не знаю, может у сайта было "трудное детсво"...🚬
Попробуй руками добавить сайт в Аддурилку Яндексу и прочитать ответ...
Домен от 2001 года...
Имхо, а бан попали, стали выбираться... Потом забыли и/или по "наследству" перешло.
// Автору.
Стоит исправить robots.txt и попробовать добавить чеоез АддУрилку в Яндекс.
Посмотреть, что ответить Яндекс и что будет в логах сервера...
А это что?
Это - ответ Яндекса.
Видимо бан...
Не в этом...
С 2003 - все сайты выдают в GZIP-е...
С роботами, и Яндекс-ом в первую очередь, проблем нет.
Скинте посмотреть 1 урл в личку.
имхо, единственно правильное решение.
Тем более, что "выжать" из логов можно очень многое для себя...