А DNS на что?
Да, даже в DNS не смотрит, по логам DNS видно...
Давайте проследим: - Сколько их там НЕ будет.
Я б, на месте Яндекса, задумался:
- Новый сайт, в серпе нет, а ссылок на него уже "вагон"...
Значит ссылки - такие естественные-естественные... ;)
Удалил. Не увидел предыдущий пост...
Почитал топик и решил сам глянуть...
Скачал Яndex.Server 3.8.3 Free Edition виндовый.
А он по ХП-кой вываливается...😒
Кривизна мозга и рук у меня?
А Web-2 и еже с ним?...
Если речь про матрасы или пластиковые окна, то да, согласен. Но и много есть тематик ресурсов у которых контент обновляется ежедневно, от 15% и более. А с ними как быть?
... юзверей? - Согласен!
И уверен, что из тех террабайт информации (а это тоже - трафик, в терминологии Интернет-провайдеров), прокаченных по Интернет каналам, выгоду для себя они не упустили...
Так, для примера (об этом уже говорил):
Yandex/1.01.001 (compatible; Win16; I) делает запрос такого URL - "/файл_название.html?=/"
1. Файл "/файл_название.html" - обычная, статичная страница.
2. Апач, на сей изврат как и положено, выдает код 200.
Так как файл статичен, он отбросил все, начиная со знака "?"
3. Таких запросов робот "налепил" больше 3000 шт. на сайт.
Вопросы:
1. Что теперь будет в серпе?
2. Что будет при переиндексации?
Примечание:
Сайтов, "проиндексированных" таким образом - почти десяток.