Форум Сайтостроение Администрирование серверов

NGINX, ошибка доступа к RSS фиду, как побороть?

dag
На сайте с 10.02.2007
Offline
214
dag
1684

Пытаюсь освоить нововведение от Яндекса, турбостраницы. Выгрузил содержимое части статей сайта в несколько RSS фидов, сложил в отдельную папку на сервере. Чтобы не дарить контент налево и направо всем страждущим - закрыл доступ к папке по паролю, вот так (классика, этим примером завалена вся сеть):

location ~* ^/turbo/.+\.xml {
auth_basic "Restricted";
auth_basic_user_file /etc/nginx/htpasswd;
}
На сами фиды у меня установлены права 555 (это физически выгруженные в файлы данные), владелец - www-data.

В Я.Вебмастере указан верные логин и пароль на доступ к фидам. Проверял раз надцать.

Что имею в итоге:

- Когда отправляю фид на проверку - через некоторое время получаю "Нет ошибок", фид выгружен, статьи - в поиске (и есть переходы с поиска).

- Через некоторое время получаю в Я.Вебматере "Ошибки обновления RSS-канала" -> Предупреждение обновления" -> "Не удалось скачать RSS-канал".

Стал переписываться с Платонами. Последний их ответ

Здравствуйте!

Проверили - робот получает ответ HTTP-401 при запросе страниц. Как я писал ранее, стоит проверить, что логин и пароль в сервисе введены корректно, а сервер умеет обрабатывать заголовок Authorization (https://en.wikipedia.org/wiki/Basic_access_authentication
И куда копать то? Сколько ни гуглю, каких то особых настроек NGINXа найти не могу (((
Оптимизайка
На сайте с 11.03.2012
Offline
396
Оптимизайка
#1

Похоже на глюк яндекса, но в логах что?

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
dag
На сайте с 10.02.2007
Offline
214
dag
#2

в логах вижу такое (много, робот приходит несколько раз в час)

37.9.113.162 - my_login [06/Dec/2017:09:18:11 +0300] "GET /turbo/articles-t.xml HTTP/1.1" 200 20259 "-" "Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)"
а затем в какой то момент такое
37.9.113.162 - - [06/Dec/2017:09:12:25 +0300] "GET /turbo/articles-t.xml HTTP/1.1" 401 188 "-" "Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)"
и все. в вебмастере - появляется ошибка. и как это понимать... (((

Снова написал Платонам. В принципе они быстро отвечают, жаль только бестолково (((

Оптимизайка
На сайте с 11.03.2012
Offline
396
Оптимизайка
#3

Т.е. бот YandexNews авторизацию понимает, а бот YandexWebmaster - нет.

dag
На сайте с 10.02.2007
Offline
214
dag
#4

Это даже я понимаю. Вопрос в том что может для бота YandexWebmaster нужны какие то еще настройки авторизации...?

tmatm
На сайте с 22.04.2006
Offline
205
tmatm
#5

YandexWebmaster обращается без авторизации к вашему файлу. Мне кажется, проще было бы сделать на сайте папку с каким-нибудь именем в виде абракадабры, и авторизацию не использовать. Очень маловероятно, что кто-то кроме Яндекса будет обращаться к /as876876sdf868sdf/articles-t.xml, т.к. случайно такой адрес не наберёшь.

Optimizator.Ru ( https://optimizator.ru/ ) — регистрация и продление доменов в RU-CENTER и REG.RU: RU, РФ от 123 р.; MSK.RU, SPB.RU и др. 168 р. + REG.RU ( https://reg.optimizator.ru/ ). Освобождающиеся домены от 150 р. ( https://optimizator.ru/backorder/ )
dag
На сайте с 10.02.2007
Offline
214
dag
#6

Получил ответ от Платона, что будут разбираться. Ну значит полдела сделано (стало ясно, что не мой косяк), остается ждать.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий