Lestor_SB: На одном и том же ресурсе, когда видит одну две страницы с тормозами - идет дальше, когда с десяток (все тех же страниц, с тех же скриптов и т.п.) - уходит.
Это верно. Это защита от подвисания робота.
Lestor_SB: это была случайность или всеж 7-10 сек. торможения выдачи контента имеют значение?
Должно быть стандартное 30 или 60 сек, но еще раз повторю, важно что в этот момент происходит с сокетом, куда робот подключился.
Ведь тайм оут, в том смысле, которое используется в сети, этио не время до загрузки страницы, а время простоя/ожидания пакета.
Lestor_SB: Если натыкается на одну страницу которая не открывается 3-4 сек, то вроде продолжает дальше.
Lestor_SB: что таймаут существует это просто очевидно, без него просто нельзя, но вот его значение - ?
Не отрывается или сервер дает time out. Это разные вещи.
Вы посмотрите на пакеты, которые идут.
Ведь, ползая по сети, вы наверное не раз видели что броузер отключается через 4-5 сек, недогрузив страницу, но в тоже время есть страницы которые он тянет долго и до конца.
Дело не в том, сколько нет ответа (обычно принято ожидание 60 сек), а в том, что в это время происходит. Как себя ведет сокет сервера. Какие пакеты (TCP/IP) посылаются.
Олежина: А фактов индексации несвёрстанных дизайнов сайтов вы не видели (прямо в .psd)? Или, например, заказчик ТЗ на разработку ещё не утвердил, а сайт уже в индексе (смайл, естественно)
Здесь какраз все просто, все домены, которые есть в базе RIPN простукиваются с некоторым интервалом. И если там перестает отдаваться time-out или 404 то робот приходит.
Stripe: Кстати, а если логи не закрыты от индексации? Или это то же миф?
Я об этом писал. Это реально, но скорее не только логи, но и статистика.
Ведь логи, с точки зрения ПС - это plain/text. Урлы из него, не факт что учитываются, но могут заносится в некоторую базу.
Как делает Outluk и т.д при получения письма в формате Text
Как я понял, Вы зазеркалили сайт народовский и 2-го уровня, переместив главное зеркало на новый "нормальный сайт". Теперь Вы хотите добавить что-то интересное на нормальный сайт, не делая это на народовском.
Как я понимаю, зеркала не расклеятся, т.к. все зеркала кроме основного робот просто не посещает.
Если есть желание подстраховаться, то может есть смысл поиграться с фреймами. Т.е. на народовском сайте грузить ту-же страницу с нормального сайта в фрейм.
Lestor_SB,
Извениет, но складывается впечатление, что или Вы читаете через/между строк, или о сетевых технолдогиях слышали тоько название.
Вы-бы хоть тогда сказали, что Вы называете тайм оутом, индексатором?
В 60 сек верится с трудом, ну может только для главной,
Главная, обычно отдается быстрее всех =))
На одном и том же ресурсе, когда видит одну две страницы с тормозами - идет дальше, когда с десяток (все тех же страниц, с тех же скриптов и т.п.) - уходит.
Это верно. Это защита от подвисания робота.
это была случайность или всеж 7-10 сек. торможения выдачи контента имеют значение?
Должно быть стандартное 30 или 60 сек, но еще раз повторю, важно что в этот момент происходит с сокетом, куда робот подключился.
Ведь тайм оут, в том смысле, которое используется в сети, этио не время до загрузки страницы, а время простоя/ожидания пакета.
Если натыкается на одну страницу которая не открывается 3-4 сек, то вроде продолжает дальше.
что таймаут существует это просто очевидно, без него просто нельзя, но вот его значение - ?
Не отрывается или сервер дает time out. Это разные вещи.
Вы посмотрите на пакеты, которые идут.
Ведь, ползая по сети, вы наверное не раз видели что броузер отключается через 4-5 сек, недогрузив страницу, но в тоже время есть страницы которые он тянет долго и до конца.
Дело не в том, сколько нет ответа (обычно принято ожидание 60 сек), а в том, что в это время происходит. Как себя ведет сокет сервера. Какие пакеты (TCP/IP) посылаются.
Скорее всего проблема в общих настройках сервера.
А фактов индексации несвёрстанных дизайнов сайтов вы не видели (прямо в .psd)? Или, например, заказчик ТЗ на разработку ещё не утвердил, а сайт уже в индексе (смайл, естественно)
Здесь какраз все просто, все домены, которые есть в базе RIPN простукиваются с некоторым интервалом. И если там перестает отдаваться time-out или 404 то робот приходит.
Кстати, а если логи не закрыты от индексации? Или это то же миф?
Я об этом писал. Это реально, но скорее не только логи, но и статистика.
Ведь логи, с точки зрения ПС - это plain/text. Урлы из него, не факт что учитываются, но могут заносится в некоторую базу.
Как делает Outluk и т.д при получения письма в формате Text
Revan,
Как?
Варианта только 3 и все связаны с кривизной.
1. ПС перебирает вараинты самых часто встречамых урл.
2. Кривые руки не закрывают доступ к файлам внутренней статистики, откуда ПС берет линки на станицы, или разрешен просмотр папок.
3. Всяки тулзы от гугла и яши смотрят на линки, которые посещались. + передача поля Referer (страый глюк IE 5.x)
Во всех остальных случая - это фантастика. И главное - какая цель видить такие страницы?
Lestor_SB,
По п 1 - Если партнерка мамбы или подобные - забаня.
Во всех остальных случаях - страшного ничего не будет, если к вопросу подойти с головой. Ведь понятие "ссылкопомойка" не имеет твердого определения.
И кто же прав?
Ссылки на зеркале, имхо, никогда не будут проиндексированы. Соответственно каков их смысл?
Kerk,
тИЦ - это весовая оценка внешних факторов. Она учитывается даже для страниц с 404 и 403.
Роботс - набор рекомендаций для самого сайта.
Megavolt,
Как я понял, Вы зазеркалили сайт народовский и 2-го уровня, переместив главное зеркало на новый "нормальный сайт". Теперь Вы хотите добавить что-то интересное на нормальный сайт, не делая это на народовском.
Как я понимаю, зеркала не расклеятся, т.к. все зеркала кроме основного робот просто не посещает.
Если есть желание подстраховаться, то может есть смысл поиграться с фреймами. Т.е. на народовском сайте грузить ту-же страницу с нормального сайта в фрейм.
Lestor_SB,
1.Это стандартная партнерка?
2. Сам сайт имеет смысл или он делаентся под эту партнерку?
3. Ссылки на сам сайт идут с таких-же партнерских сайтов или....?
4. Как Вы думаете, какой вес и смысл будут иметь такие блоки ссылок?