Определило верно.
Смех-смехом, а ведь так оно и есть.
Предположу что причина кроется в ваших запросах к ПС.
http://analyzethis.ru/?analyzer=update&searcher=rambler
Урлы такого вида не запрещены в robots.txt.
А какие адреса у новостей, примеры?
Поведенческий анализ действий пользователей + технологии Demographic Spectrum и Demography Propagation + что-нибудь ещё. ;)
Администрация проекта подчеркивает, что речь идет лишь о предположении - с высокой степенью вероятности.
Индексация всех страниц начинающихся с /news/feed/ запрещена правилом Disallow: */feed
И в чём же логика? Не осиливаю. 😕
А смысл закрывать их в роботсе? 301-редирект и всё.
В том же документе который вы цитировали. Немного ниже. Вам Kost даже ссылку дал, а вы всё туда же. 🚬
Вот теперь заживём!
