Fruit: Сделаете алгоритм, который будет 100%-но отличать служебные/личные страницы от обычных?
Всю жизнь пауки ходили по ссылкам, потом на свою голову придумали геморрой с барами и т.п. Пускай расхлебывают.
ZeeRaN: Робот не человек и он не имел информации о том, что это конфиденциальные данные, которые нельзя индексировать и выкладывать в индекс.
Робот откуда берет информацию о таких страницах? Подбирает? Нет, пользуется шпионским софтом, который не умеет определять разницу между страницами. Кто виноват?
Kost: Это не причина, а часть механизма индексации. Причина - это раздолбайство сайтостроителей.
Мне так кажется, что механизм индексации не должен индексировать все подряд, включая служебные или личные страницы (если по бару), то есть шпионаж бара - вина яндекса, а не заслуга механизма; с метрикой не понятно - вроде её там не было, или есть? Раздолбайство - это ясно, что информация о статусе смс была избыточной, нафига?
AndyM: Вот в том то и дело что все эти недофильтры скорее похожи на охоту на ведьм, а не призваны что то улучшать.
Это похоже на черный ящик с рандомом, кому повезет, а кому и нет. Но сайты сделаны грамотно - не подкопаешься, тем более на автомате. ТС, берите пример.
Miha Kuzmin (KMY): У кого как. У некоторых четко дата задается удаления неиндексата. А у некоторых когда Главному Прогеру приспичит (разок-другой в месяц). У третьих не помню как.
Редковато, хотя с другой стороны и нормально. Главный Прогер, наверно, по графикам прибыли ориентируется.
Сделаете алгоритм, который будет 100%-но отличать служебные/личные страницы от обычных?
Всю жизнь пауки ходили по ссылкам, потом на свою голову придумали геморрой с барами и т.п. Пускай расхлебывают.
Робот не человек и он не имел информации о том, что это конфиденциальные данные, которые нельзя индексировать и выкладывать в индекс.
Робот откуда берет информацию о таких страницах? Подбирает? Нет, пользуется шпионским софтом, который не умеет определять разницу между страницами. Кто виноват?
Это не причина, а часть механизма индексации. Причина - это раздолбайство сайтостроителей.
Мне так кажется, что механизм индексации не должен индексировать все подряд, включая служебные или личные страницы (если по бару), то есть шпионаж бара - вина яндекса, а не заслуга механизма; с метрикой не понятно - вроде её там не было, или есть? Раздолбайство - это ясно, что информация о статусе смс была избыточной, нафига?
Пока нет точных данных о причине? Бар, метрика или криворукие программисты мегафона?
Вот в том то и дело что все эти недофильтры скорее похожи на охоту на ведьм, а не призваны что то улучшать.
Это похоже на черный ящик с рандомом, кому повезет, а кому и нет. Но сайты сделаны грамотно - не подкопаешься, тем более на автомате. ТС, берите пример.
Хороший пример с фейковым ИНН и юридическим адресом - яндексу пофиг даже если адрес несуществующий, главное разный.
А так хотелось за уши притянуть(
Ну да ладно, ждите.
Ну собсна да. Когда ситуация напоминает уже предреволюционную (что будут юзеры трогать за жопу) - оно и случается.
А есть ли корреляция, между вероятностью апа и вероятностью трогания за седалище ГП?
Ну, вроде, движухи нет давно, трогают, снимает, а тут раз и ап.
У кого как. У некоторых четко дата задается удаления неиндексата. А у некоторых когда Главному Прогеру приспичит (разок-другой в месяц). У третьих не помню как.
Редковато, хотя с другой стороны и нормально. Главный Прогер, наверно, по графикам прибыли ориентируется.
А, да, у меня по запчастям скАкнуло.
Ёхан Палыч, твоя предпосылка была в том, что агрегаторы после апа снимают ссылки)
Не снимают??? Ура!!!
Хотя я предположил что снимают частники, от них, наверно, и графики пилой +-5%
А как снимают агрегаторы?
Сама предпосылка неверна.
Верная предпосылка: с каждым днем вероятность апа растет, но никогда не достигает 100%.
aii, ну увеличилось количество ссылок, если апа не будет, то завтра будет еще больше... или меньше.