Lestor_SB,
Извениет, но складывается впечатление, что или Вы читаете через/между строк, или о сетевых технолдогиях слышали тоько название.
Вы-бы хоть тогда сказали, что Вы называете тайм оутом, индексатором?
Главная, обычно отдается быстрее всех =))
Это верно. Это защита от подвисания робота.
Должно быть стандартное 30 или 60 сек, но еще раз повторю, важно что в этот момент происходит с сокетом, куда робот подключился.
Ведь тайм оут, в том смысле, которое используется в сети, этио не время до загрузки страницы, а время простоя/ожидания пакета.
Не отрывается или сервер дает time out. Это разные вещи.
Вы посмотрите на пакеты, которые идут.
Ведь, ползая по сети, вы наверное не раз видели что броузер отключается через 4-5 сек, недогрузив страницу, но в тоже время есть страницы которые он тянет долго и до конца.
Дело не в том, сколько нет ответа (обычно принято ожидание 60 сек), а в том, что в это время происходит. Как себя ведет сокет сервера. Какие пакеты (TCP/IP) посылаются.
Скорее всего проблема в общих настройках сервера.
Здесь какраз все просто, все домены, которые есть в базе RIPN простукиваются с некоторым интервалом. И если там перестает отдаваться time-out или 404 то робот приходит.
Я об этом писал. Это реально, но скорее не только логи, но и статистика.
Ведь логи, с точки зрения ПС - это plain/text. Урлы из него, не факт что учитываются, но могут заносится в некоторую базу.
Как делает Outluk и т.д при получения письма в формате Text
Revan,
Как?
Варианта только 3 и все связаны с кривизной.
1. ПС перебирает вараинты самых часто встречамых урл.
2. Кривые руки не закрывают доступ к файлам внутренней статистики, откуда ПС берет линки на станицы, или разрешен просмотр папок.
3. Всяки тулзы от гугла и яши смотрят на линки, которые посещались. + передача поля Referer (страый глюк IE 5.x)
Во всех остальных случая - это фантастика. И главное - какая цель видить такие страницы?
По п 1 - Если партнерка мамбы или подобные - забаня.
Во всех остальных случаях - страшного ничего не будет, если к вопросу подойти с головой. Ведь понятие "ссылкопомойка" не имеет твердого определения.
Ссылки на зеркале, имхо, никогда не будут проиндексированы. Соответственно каков их смысл?
Kerk,
тИЦ - это весовая оценка внешних факторов. Она учитывается даже для страниц с 404 и 403.
Роботс - набор рекомендаций для самого сайта.
Megavolt,
Как я понял, Вы зазеркалили сайт народовский и 2-го уровня, переместив главное зеркало на новый "нормальный сайт". Теперь Вы хотите добавить что-то интересное на нормальный сайт, не делая это на народовском.
Как я понимаю, зеркала не расклеятся, т.к. все зеркала кроме основного робот просто не посещает.
Если есть желание подстраховаться, то может есть смысл поиграться с фреймами. Т.е. на народовском сайте грузить ту-же страницу с нормального сайта в фрейм.
1.Это стандартная партнерка?
2. Сам сайт имеет смысл или он делаентся под эту партнерку?
3. Ссылки на сам сайт идут с таких-же партнерских сайтов или....?
4. Как Вы думаете, какой вес и смысл будут иметь такие блоки ссылок?
