Осталось подождать пока проиндексируется kremlin.ru, у него тоже роботса нету((
К такому выводу мы пришли неделю назад, виноваты все. Но вебмастеров виноватых много (в последнем случае разработчик webasyst), а яндекс один (плюс гугл и т.п.), и объединяет их только индексация яндексом урлов без ссылок.
Соответственно, если бы, да кабы, не яндекс, то утечки бы тоже не было))
Разработчиков наказать за небрежное хранение ПД, яндексу запретить использовать статистику бара, метрики и других сомнительных источников для робота-индексатора.
Вы имеете в виду, что разглашение ПД лежит целиком на пользователях webasyst? Тогда я не совсем понял ваш пример с Ивановым на улице Луговой. Пользователи webasyst давным давно пользуются, данные были опубликованы на их сайтах безо всякой защиты, но это не дает право их публиковать другим - яндексу, блогерам, журналистам. Правильно?
Ну тогда можно соблюдать все правила конспирации, грабить, насиловать и ни разу не попасться, да? А к чему это?
Одно дело соблюдать правила, законы и т.п., и совсем другое дело выполнять самописные правила какого либо сайта, фирмы, конторы.
Ну, у меня хомяк поисковый. Допустим, с помощью хитроумного сниффера, я получаю доступ к трафику, имею ли я право индексировать и публиковать страницы посещенные нашим бухгалтером, при условии их незапрета в роботсе конечно?
Разница есть между частной фирмой, именующей себя "поисковой системой", с собственными правилами и государственной структурой, действующей согласно действующему законодательству? Вы же не согласитесь выполнять МОИ правила, написанные на моем хомяке относительно того, что я имею право брать любую информацию с вашего сайта и публиковать на том же хомяке если у вас в роботсе не написано сообщение персонально для меня?
Я предполагал такой вариант неделю назад, но комментариев кроме как "мрак какой-то" не было. После очередных скандалов, где меняются действующие лица кроме Яндекса - становится совсем очевидно - заказ против Яндекса.
Этот нюанс был раза три рассмотрен в предыдущей теме - в роботсе надо закрывать часть урла, но, естественно, мало кто об этом думает. Как и абсолютное большинство саповодов и т.д не закрывают папки бирж.
Если в браузере переключить вид на win-1251, то стрекозяблы читаемы - "Популярные скачки" и т.п. Копайте дальше в кодировке, я бы базу не трогал, а поработал над выводом в нужной кодировке.
Еще полагаются на время жизни страницы - оно сильно ограничено, в отличии от кеша яндекса.
Вот-вот, урл живет несколько часов, бот яндекса быстро индексирует но долго тупит после. По моему мнению, показ кеша удаленной страницы сильно нарушает права пользователей. Про источники таких урлов я уже не говорю.
strefapl, найдите в вашем htaccess буквосочетание -t и выкиньте, затем поправьте движок в тех местах, где формируются ссылки.
То есть найдите строки:
и замените на
