Sashka-terrorist: Собственно яндекс проиндексировал только категории а все новости пишет что запрещен к индексации, а там линки вида: site.ru/news/feed/
Индексация всех страниц начинающихся с /news/feed/ запрещена правилом Disallow: */feed
SeoNizator: выше я уже приводил цитату из этой "справки для чайников", где указано чего нельзя отделять. Хоста там нет. А значит - можно (какой бы хреновой логикой кому-то это не казалось ;) ). Или же точно нельзя, не будет учитываться? Где об этом что-то сказано?
В том же документе который вы цитировали. Немного ниже. Вам Kost даже ссылку дал, а вы всё туда же. 🚬
Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow').
Можете посмотреть, как определило вас, если определило: http://counter.yadro.ru/cgi/user-agent
строка Demo
Определило верно.
Большой брат работает. Знают про юзера все - куда, с кем, за сколько. 🚬
Смех-смехом, а ведь так оно и есть.
Кошмар
Выдало мне M25-34 🤣
Предположу что причина кроется в ваших запросах к ПС.
что был ап?
http://analyzethis.ru/?analyzer=update&searcher=rambler
яндекс почему то дальше вот этих /news/feed/ и не заходит, тоесть у меня получаютса все новости запрещены в файле robots.txt
пример адреса новости: site.ru/striptiz-na-trave/
Урлы такого вида не запрещены в robots.txt.
А какие адреса у новостей, примеры?
может кто знает, откуда Li берет данные демографии : пол и возраст посетителей
Поведенческий анализ действий пользователей + технологии Demographic Spectrum и Demography Propagation + что-нибудь ещё. ;)
и насколько эти данные соответствуют действительности?
Администрация проекта подчеркивает, что речь идет лишь о предположении - с высокой степенью вероятности.
Собственно яндекс проиндексировал только категории а все новости пишет что запрещен к индексации, а там линки вида: site.ru/news/feed/
Индексация всех страниц начинающихся с /news/feed/ запрещена правилом Disallow: */feed
В принципе, логично со стороны ПС.
И в чём же логика? Не осиливаю. 😕
Что можно и как прописать в роботс.тхт ???
Что-то не придуимаю ни как.
А смысл закрывать их в роботсе? 301-редирект и всё.
выше я уже приводил цитату из этой "справки для чайников", где указано чего нельзя отделять. Хоста там нет. А значит - можно (какой бы хреновой логикой кому-то это не казалось ;) ). Или же точно нельзя, не будет учитываться? Где об этом что-то сказано?
В том же документе который вы цитировали. Немного ниже. Вам Kost даже ссылку дал, а вы всё туда же. 🚬
Вот теперь заживём!