Я согласен на тему эвристик обхода сайтов. Я просто хотел констатировать тот факт, что физически (или если хотите математически) можно получить разное множество страниц. Насколько это влияет на качество поиска - вопрос уже другого плана.
lagif: itman, Отсутствуют подкаталоги каталога ./ir ?
Не хотите ли вы сказать, что гугль не индексирует каталоги третьей степени вложенности?
Нет, подкаталога english/ir.
Хочу сказать, что, похоже, иногда не индексирует. Каталогу этому уже месяцев пять, гугль на сайт ходит пару раз в месяц, яха давно эти каталог проиндексировал. Какой я еще могу сделать вывод? Только, что гугль сейчас не совсем справляется с индексированием инета и несколько ограничивает индексируемый контент. Недаром же они в прошлом году официально заявили, что не будут соревноваться с Яху по части размера индекса.
Причем делает это он как-то очень странно. У меня есть подкаталог третьего уровня, который гуглем почему-то упорно не индексируется. Несмотря на ссылку из дмоза и сайтмеп. При этом есть куча страничек третьего уровня, которые успешно проиндексированы. Я очень сильно подозреваю, что это просто свежее ограничение. То есть старые длинные пути остались в индексе, а новые отрезаются по количеству слешей в пути.
ЗодчийТеней: не только, тот же гугль реагирует на длину ссылки и на количество «переменных/уровней» в ней. проверено опытным путем. причем реакция на длину ссылки у него намного более ярко выражена чем реакция допустим на ассоциативность ссылки
Судя по моим последним наблюдениям плохо они лазают. Отвратительно
я бы уточнил: очень избирательно. причем из большой тройки особенно хорошо сос...т гугль. он, например, почему-то паталогически не хочет забирать с моего сайта самые интересную для меня страничку. при том, что на эти странички есть даже ссылка из дмоза :-) и в сайтмепе она прописана. а яха и мой собственный робот все странички без проблем забирает.
lagif: watr, Да. Представьте себе множество ссылок как дерево, где корень - главная страница. Уровень дерева - это степень вложенности. По-вашему, как роботы по сайту лазают?
http://www.google.com/search?q=%22itman.narod.ru/english/ir%22&num=100&hl=en&lr=&rls=GGGL,GGGL:2005-09,GGGL:en&filter=0
Собственно, прикол dmozа заключается в том, что dmoz размножается :-) но, как это, это лично мне не помогло.
Да я знаю, что российская. Даже его фото видел. :) Вот вопрос только - кто пользуется?
да по модулю общения с О. Бартуновом, он же сам и пользуется.
Дык, это же российская разработка. Если чего не будет работать, известен человек, которому можно на это пожаловаться.
Философия, однако :-)
Я согласен на тему эвристик обхода сайтов. Я просто хотел констатировать тот факт, что физически (или если хотите математически) можно получить разное множество страниц. Насколько это влияет на качество поиска - вопрос уже другого плана.
Разница есть, однозанчно, подмножество достижимых страниц может отличаться
а какая разница с какой страницы вы начнете обход сайта?
itman, Отсутствуют подкаталоги каталога ./ir ?
Не хотите ли вы сказать, что гугль не индексирует каталоги третьей степени вложенности?
Нет, подкаталога english/ir.
Хочу сказать, что, похоже, иногда не индексирует. Каталогу этому уже месяцев пять, гугль на сайт ходит пару раз в месяц, яха давно эти каталог проиндексировал. Какой я еще могу сделать вывод? Только, что гугль сейчас не совсем справляется с индексированием инета и несколько ограничивает индексируемый контент. Недаром же они в прошлом году официально заявили, что не будут соревноваться с Яху по части размера индекса.
itman, ЗодчийТеней, Можно примеры?
легко:
http://www.google.com/search?q=site:itman.narod.ru&num=100&hl=en&lr=&rls=GGGL,GGGL:2005-09,GGGL:en&filter=0
ветки english/ir отсутствует, хотя она достигается в три клика из корня, и на на нее есть ссылочка в dmoz.
ну и в itman.narod.ru/sitemap.xml естественно.
Причем делает это он как-то очень странно. У меня есть подкаталог третьего уровня, который гуглем почему-то упорно не индексируется. Несмотря на ссылку из дмоза и сайтмеп. При этом есть куча страничек третьего уровня, которые успешно проиндексированы. Я очень сильно подозреваю, что это просто свежее ограничение. То есть старые длинные пути остались в индексе, а новые отрезаются по количеству слешей в пути.
не только, тот же гугль реагирует на длину ссылки и на количество «переменных/уровней» в ней. проверено опытным путем. причем реакция на длину ссылки у него намного более ярко выражена чем реакция допустим на ассоциативность ссылки
Судя по моим последним наблюдениям плохо они лазают. Отвратительно
я бы уточнил: очень избирательно. причем из большой тройки особенно хорошо сос...т гугль. он, например, почему-то паталогически не хочет забирать с моего сайта самые интересную для меня страничку. при том, что на эти странички есть даже ссылка из дмоза :-) и в сайтмепе она прописана. а яха и мой собственный робот все странички без проблем забирает.
Lagif, могут быть внешние ссылочки.
watr, Да. Представьте себе множество ссылок как дерево, где корень - главная страница. Уровень дерева - это степень вложенности. По-вашему, как роботы по сайту лазают?