Яндекс рассекретил покупателей секс-шопов

Miha Kuzmin (KMY), да пофиг, пусть на исследование это не тянет, но то что там убегают урлы факт.

TheGRAM, Gray, вы правы во всех случаях кроме одного.

Когда документ удален и сервер дает ответ 404, Яндекс (как указатель или средство поиска) не может ничего показать, ибо там нет ничего. То есть он должен или сказать "вот тут что-то было, а теперь нет", или вообще ссылку на пустое место не выводить.

Однако зачастую в данном случае он работает не как указатель или средство поиска. Он выдает не ссылки куда-то на сторону, а дает информацию со своего сервера!

Повторюсь. Адреса такого уже нет. Информации по этому адресу уже нет.

Ни один указатель (если он указатель) не сможет ее показать. Ни одна система поиска (если она система поиска) не сможет ее найти.

Если происходит обратное, то это уже не указатель и не система поиска.

Вот про это исключение из общего правила, про этот один случай я и говорю.

примеры есть, роботс гарантирует только не появление в поиске, а не не индексацию, в панели вебмастера, в разделе исключённые из поиска страницы: причина запрещено в роботсе, но найдена по внешней/внутренней ссылке, висят годами, даже если страница отдаёт уже давно 404.

был случай когда из-за обновлении на сайте (полностью менялась структура и url), сайт был не доступен (роботс в том числе) и о чудо страница появилась в поиске (сохранённая копия у яши всё-таки была :))

с одной стороны яша молодец не выкинул трастовый сайт из выдачи из=за раздолбайства владельцев, а показал в выдаче хоть что-то, но с другой эта страница полгода отдавала 404, причём робот заходил на неё постоянно (по внешней ссылке)

Ты серьезно не знал, что бар шлет урлы? А вообще ты что-нибудь знал?

Поднимись выше.

:)

Допустим ещё можно отдать возможность по-умолчанию индексировать=копировать+хранить у себя копии сайтов ПСам.

Хотя, в случаях, когда владельцы сайтов не хотят, чтобы их копии были в ПСах, они не должны быть обязаны дополнительно вставлять robots.txt и предпринимать иные шаги к созданию невозможности ПСам копировать свои же сайты. Логичнее (именно логичнее, а не практичнее, конечно) тем, кто желает, чтобы копии сайтов могли храниться в ПСах - разрешать ПСам такую возможность дополнительными инструментами при создании сайта, а не использовать противоположные инструменты - запрещать от индексации по умолчанию, если в ПСах копии нежелательны.

А вот что совсем неясно, - почему ПСы не удаляют сразу же у себя копии страниц или сайтов, которых с определённого момента времени уже нет в природе.

Владелец какого-то сайта решил, что какая-то страница или сайт не должны быть более опубликованы, а ПСы эти публикации хранят=публикуют тем не менее - явно это полное нарушение свободы владельца сайта не публиковать в интернете того, что он более не хочет.

Владелец сайта с какого-то времени не публикует какой-то материал, а ПСы публикуют - НЕпорядок :))

Запустите поиск на своем компьютере на системном диске папок "Яндекс" и "Yandex". Сюрприз!🤪

basilic, пытайся по русски разговаривать.

У меня без мата не получается. Знал я это 500 лет назад, **** ** *** * *** - ***! 😡

Урл дал общественности.

Скажу больше, по идее у Ябара приоритет значимости посещенного урла должен быть выше чем у страницы просто с метрикой.

Клоуны блин...