Это, простите, о чем?
Там на странице два десятка правильных советов. Среди которых аккуратно спрятан еще один. Тоже "правильный".
Саша спасибо!
Повесили на кухне!
1. Неудачно используется термин "зеркало". Даже Martijn не сразу понял. То же самое относится и ко многим участникам дискуссии. Речь идет не о "зеркалах" в традиционном смысле слова, а об нежелательных алиасах имени хоста. То есть о ситуации, когда на разные имена хостов отвечает один и тот же физический сервер с идентичным (по смыслу) содержанием.
Классические ситуации: разные порты, www/без www и т.д.
В таких случаях один и тот же физический файл robots.txt выдается под разными URL-ами. http://site.ru/robots.txt http://www.site.ru/robots.txt http://www.site.ru:8081/robots.txt и т.д. и т.п.
Никакой запрет конкурентов невозможен, о котором пишут участник дискуссии, конечно же невозможен.
2. Как писал Саша, поисковая система не в состоянии в общем случае понять какое имя владелец сайт хочет видеть в качестве основного. То есть автоматический процесс каноникализации имени хоста всегда происходит с ошибками.
Мы пытались "научить" мастеров выдавать разный robots.txt для разных имен хостов и рекомендовали в неканонических случаях запрещать весь сайт от корня.
Однако по самым разным причинам это принесло больше вреда, чем пользы.
Отсюда предложение: использовать нестандартное расширения формата с целью указания канонического имени хоста.
3. Очевидно, директива Host в контексте термина Disallow (сразу после него) и, вообще, в контексте "запретительного" файла robots.txt не очень понятна.
Возможно нужно переименовать эту директиву в AllowHost или AllowOnlyHost или в CanonicalHostName или еще как-то.
Илья
У вас откуда такой инсайд?
Они уже потеряли. См. октябрьский netrating. Так что у них положение как у пролетариата.
Насчет MSN, действительно интересная интрига. (собственно об этом я и писал).
Есть статья в NYTimes как раз на эту тему, но она по подписке. Не читал ли кто?
Ну почему же. Мы везде пишем и расказываем про это, какая же тут тайна?
Новые сайты автоматически классифицируются тематическим и стилистическим классификатором. (обучающая выборка - весь текущий каталог). После этого считается взвешенная тематическая цитируемость. (эта процедура называется "перевзвешивание дерева"). Учитывается размер сайта.
Все новые сайты стоят в очереди на описание строго по порядку фактора, который включает размер и цитируемость.
Что касается сабмитов - то там по большей части спам и мусор. На этом же сайте есть статья (я сам переводил) хорошо объясняющая, что сабмитам верить обычно нельзя.
Поэтому на сабмиты редакторы смотрят редко и никак не с высоким приоритетом.
Сколько в месяц сабмитов и сколько процентов их них чистый мусор, Женя может подробней рассказать.
Что касается 2000... А почему не 5, не 10, не 1? Откуда эта цифра?
Яндекс обрабатывает столько, сколько может. В пиковые месяцы бывало и по 5000, если я не ошибаюсь.
Статистика суха. В месяц добавляется от полутора тысяч сайтов. Из них не больше 50 за деньги.
Имеет ли смысл рассусоливать эту тему дальше?
Тысяча запросов = 1-2 доллара. Это более-менее известная константа. (когда wisenut делал рассылку весной 2001г, он как раз и писал, что у него типа дешевле двух, покупайте пока дешево).
Попробуем это еще раз оценить.
Гугль в этом году заработал 75, из них чуть больше половины (примерно 40) - от партнеров. Внутри партнеров: Yahoo! - 50%, AOL - 40%, Нетскейп - 10%. Примем, что Yahoo заплатил Google примерно 20.
Известно что Гугль в день выполняет 150 миллионов, из них, скажем, 100 не у себя на сайте. Таким образом в год Yahoo спрашивает google примерно 15 миллиардов раз. (половина от 300*100).
Получается сопоставимая оценка в 1.2 доллара за тысячу.
Погрешность примем - плюс минус 30%. Скажем 0.9-1.5
Соотвественно сумма годового контракта тоже пляшет: думаю, в пределах 15-30.
На сайте (скажем, гугля или инктоми) конечно написаны другие цены (5?, 8?, не помню точно), но в данном случае речь идет об очень крупном опте.
Как это не критичная? В 80-90 процентах запросов ничего больше и нету (см. дискуссию выше)
Goto (которая Увертюра) чем по вашему пользователй держит? Почему она считается поиском, а не доской объявлений, и имеет свою многомиллионную аудиторию?
Именно поиском по вебу, который покрывает практически все запросы привлекается и удерживается аудитория. Его качество играет важнейшую роль.
