По поводу предыдущего ответа. Как известно, 404 ошибка возникает, если набран неправильный адрес или в процессе загрузки документа она была прервана. Это значит, что даже если нет сломаных ссылок на сайте, ошибка очень даже может возникать.
Видимо, в этом случае PR страницы набирается за счет вызовов страницы, а не за счет ссылок на нее.
В свое время переходил я со статических страниц новостей на динамические. Поскольку у таких файлов расширения естественно разные (у одних .html, у других .php3), то и ссылки на новости пришлось перебивать на новые адреса. Потом пришлось перейти на следующую версию php, причем с сохранением возможности работы со старой. А чтобы разные парсеры хватали свои страницы, развели их по разным расширениям - .php для нового и .php3 для старого. Перспектива опять менять все ссылки на новости на сайте довела меня до мысли, что проще ссылки все заточить под один файл, а с него уже редирект на нужный. Заметьте, все это делалось исключительно во избежании ошибок (поскольку любое редактирование - источник ошибок). Теперь мне достаточно изменить в одном месте адрес редиректа, а не шерстить все страницы.
<font face="Verdana" size="2">Originally posted by Katia: А насколько лучше было бы регистрировать домен в зоне UA, чем в COM?</font>
Буду рад оказаться полезым даме . У меня с яндексом была история похожего толка. Имелся русский (.ru) и нерусский сайт (.com). На них имелись перекрестные ссылки. После сабмита русского сайта через две недели на яндексе появилисся как тот, так и другой сайт, причем комовский сайт иногда позиционируется даже выше русского. (А вы говорите яндекс нерусский интернет не любит :cool
Поэтому, могу посоветовать следующее - зарегистровать русский домен - туда можно поместить доорвей (очень ненавязчивый, конечно), и его подсунуть на индексацию. Вероятность того, что поможет, весьма высока.
P.S. А вот .ch сайт яндекс проигноривал предметно, хотя отличий на нем нем не больше чем на .com от .ru.
<font face="Verdana" size="2">Originally posted by Gray: Никак. Индексацию ускорить просто невозможно, можно увеличить количество приходов робота на сайт - чем больше ссылок на него, тем больше вероятность визита. А robots.txt никак на это не повлияет.</font>
-------------------------------------------
Есть мнение, что робот Яндекса очень любит домен narod.ru, поэтому зарегистровава там сайт и кинув туда доорвей, можно несколько ускорить процесс. Хотя, по моим наблюдением, цикл работы робота Яндекса составляет порядка 2-х недель. У Апорта это в районе 3-х недель, а вот пока Рамблеру не просабмитишь, он не переиндексирует. Они сами честно пишут в советах для вебмастеров, что при любом изменении сайта рекомендуется перерегистрировать сайт. Дескать, индексировать не будем, пока не попросите.
Можно сказать, что делать доорвеи - опасное, но благородное дело.
У меня с Яндексом была интересная история. До того, как я сделал доорвеи, сайт по нужному ряду запросов был в далеком низу (а по ненужному - вообще нигде). После того, как их сделал, сайт выскочил на первые позиции именно через доорвеи. Через неделю-две начали происходить чудеса - по каким-то запросам доорвей вылетал за пределы трех первых страниц, а те страницы, которые раньше были ниже некуда, поднялись в первые строки. Иногда происходило все наоборот - доорвей возвращался, а страницы падали. Но несмотря на эту кутерьму, в целом, так сказать интегрально, сайт по нужным запросом находится на достаточно высоких позициях.
Поэтому можно сказать, что доорвеи - локомотив для сайта. Они вытягивают не только себя наверх, но и другие страницы. И даже если доорвей мягко понизят, то другие страницы будут наверху. Так, по крайней мере, говорит мой опыт. Так что не бойтесь доорвеев.
P.S. Конечно, тут нельзя переборщить, а то и весь сайт могут забанить.
Насколько я могу понять, первый - это тестовая версия нового робота, которую, по-видимому решили обкатать в боевых условиях(обычная процедура для для любого софта - тестовый режим).
Второй же бот - текущая версия, для замены которой предназначен первый.
Вижу, что обсуждение начинает уходить вбок от конструктивного русла. Отвечу так - подняться в поисковиках хотят все сайты. А почему я развел такую бодягу - просто хотел не отрезать от сайта как можно больше народа. Как говориться - "пусть уж лучше не будет друзей, лишь бы не было врагов"
<font face="Verdana" size="2">Originally posted by Gray: Клоак на яве по полю User-Agent. Идея, скорее всего, возникшая от ощущения себя крутым кодером на JavaScript.
<font color="blue">Вот как! Приходишь, спрашиваешь конкретную вещь, потом по доброте душевной объясняешь что к чему, а в результате начинают проходится по твоей личности... </font>
При этом за бортом сайта останутся очень многие, чьи броузеры выдают нестандартное значение User-Agent. Просто потому, что все возможные значения ты просто не пропишешь - это раз.
<font color="blue">Как я уже упоминал, сайт корпоративный, ориентирован на буржуйскую публику среднего уровня, которая на 99,9% пользует IE... </blue>
Все значения, которые ты найдешь, надо будет впихнуть в тело страницы - это два. Примерно 10-15% серферов ходят по Сети с отключенной явой, их ты оставишь за бортом - это три.
<font color="blue">С отключеной JavaScript у нас вообще делать нечего, просто ничего не увидишь, там все на ней повязано... </blue>
Роботы вообще не читают JavaScript, так что подобные ухищрения ни к чему. Даже если он прикинется броузером, это ему не поможет.
<font color="blue">Не поможет в смысле редиректа с доорвея, но на нем есть ссылки статические, по которым он спокойно и проползет. А потом это утверждение вообще спорно - робот не обязан ВЫПОЛНЯТЬ скрипт, но он может его поанализировать на предмет тупого редиректа, и тогда привет... </font>
В заключение - некоторые экзотические User-Agent, выловленные из реальных логов.
PPPPPPPPPPPPPPPPPP Pockey/4.10.0(Win32; GUI; ix86) Pockey/4.9.1(Win32; GUI; ix86) RepoMonkey Bait & Tackle/v1.01 WebLeacher 2.1 (DigExt) WebSauger 1.20i 3WebCapture 1.0 (Windows) WebFetch WebWasher ja ja ja ja ja ja ja ja ja ja netbox/3.5 R92.2 (Linux 2.2) netbox/3.5 R92.5 (Linux 2.2) Ask Jeeves)" (Ask Jeeves) Blocked by Norton Custo 1.1 (www.netwu.com) DISCo Pump 3.1 DnloadMage 1.0)" (DnloadMage 1.0) GetRight/4.1.1 GetRight/4.2 GetRight/4.2c HiddenSurf.com/1.13d [en] (http://HiddenSurf.com) ICS 1.3.72a)" (ICS 1.3.72a) IPC450663544c-87753G3 Inet library InterTran (tm)/2.01 (Unix) Iria/1.07a Iria/1.07s9a SSearch150 SpaceBison/0.01 [fu] (Unix; X; ShonenKnife) U-P-S VCI WebViewer VCI WebViewer Win32 WebCopier v.2.2 Webdup/0.8 aaaa. eCatch/3.0 BiDi MSIE 3.02 (Windows 95) ChinaClaw/1. Geht keinen was an JO3t7uz8FD
И два просто-таки шедевра - ...i owe my life to Microsoft... - MSIE/5.6 (Linux) </font>
<font color="blue">А вот за это искреннее спасибо!</font>
Для реализации механизма Doorway. Когда агент получает страницу, можно определить его подпись, в зависимости от этого выполняется или невыполняется скрипт переадресации. То есть те агенты, которые подпадут под определние как браузеры (именно поэтому я и спросил, является ли слово "Mozilla" общим для всех браузеров), перенаправятся на сайт, а те, кто под определение не попадет, останутся на этой странице. Причем чтобы забанить этот сайт, робот должен очень тонко разбираться в JavaScript, поскольку перенаправление происходить при реализации определнных условий и не используется событие onLoad. В общем, это должен быть не робот, а монстр какой-то.
А основная цель - перепроска пользователей с обычным браузером с доорвея на основной сайт, поскольку иметь входную страницу с отсутствием дизайна не позволяет статус сайта...
По поводу предыдущего ответа. Как известно, 404 ошибка возникает, если набран неправильный адрес или в процессе загрузки документа она была прервана. Это значит, что даже если нет сломаных ссылок на сайте, ошибка очень даже может возникать.
Видимо, в этом случае PR страницы набирается за счет вызовов страницы, а не за счет ссылок на нее.
Хочется сказать пару слов с защиту редиректов.
В свое время переходил я со статических страниц новостей на динамические. Поскольку у таких файлов расширения естественно разные (у одних .html, у других .php3), то и ссылки на новости пришлось перебивать на новые адреса. Потом пришлось перейти на следующую версию php, причем с сохранением возможности работы со старой. А чтобы разные парсеры хватали свои страницы, развели их по разным расширениям - .php для нового и .php3 для старого. Перспектива опять менять все ссылки на новости на сайте довела меня до мысли, что проще ссылки все заточить под один файл, а с него уже редирект на нужный. Заметьте, все это делалось исключительно во избежании ошибок (поскольку любое редактирование - источник ошибок). Теперь мне достаточно изменить в одном месте адрес редиректа, а не шерстить все страницы.
А насколько лучше было бы регистрировать домен в зоне UA, чем в COM?</font>
Буду рад оказаться полезым даме
. У меня с яндексом была история похожего толка. Имелся русский (.ru) и нерусский сайт (.com). На них имелись перекрестные ссылки. После сабмита русского сайта через две недели на яндексе появилисся как тот, так и другой сайт, причем комовский сайт иногда позиционируется даже выше русского. (А вы говорите яндекс нерусский интернет не любит :cool 
Поэтому, могу посоветовать следующее - зарегистровать русский домен - туда можно поместить доорвей (очень ненавязчивый, конечно), и его подсунуть на индексацию. Вероятность того, что поможет, весьма высока.
P.S. А вот .ch сайт яндекс проигноривал предметно, хотя отличий на нем нем не больше чем на .com от .ru.
Никак. Индексацию ускорить просто невозможно, можно увеличить количество приходов робота на сайт - чем больше ссылок на него, тем больше вероятность визита.
А robots.txt никак на это не повлияет.</font>
-------------------------------------------
Есть мнение, что робот Яндекса очень любит домен narod.ru, поэтому зарегистровава там сайт и кинув туда доорвей, можно несколько ускорить процесс. Хотя, по моим наблюдением, цикл работы робота Яндекса составляет порядка 2-х недель. У Апорта это в районе 3-х недель, а вот пока Рамблеру не просабмитишь, он не переиндексирует. Они сами честно пишут в советах для вебмастеров, что при любом изменении сайта рекомендуется перерегистрировать сайт. Дескать, индексировать не будем, пока не попросите.
Можно сказать, что делать доорвеи - опасное, но благородное дело.
У меня с Яндексом была интересная история. До того, как я сделал доорвеи, сайт по нужному ряду запросов был в далеком низу (а по ненужному - вообще нигде). После того, как их сделал, сайт выскочил на первые позиции именно через доорвеи. Через неделю-две начали происходить чудеса - по каким-то запросам доорвей вылетал за пределы трех первых страниц, а те страницы, которые раньше были ниже некуда, поднялись в первые строки. Иногда происходило все наоборот - доорвей возвращался, а страницы падали. Но несмотря на эту кутерьму, в целом, так сказать интегрально, сайт по нужным запросом находится на достаточно высоких позициях.
Поэтому можно сказать, что доорвеи - локомотив для сайта. Они вытягивают не только себя наверх, но и другие страницы. И даже если доорвей мягко понизят, то другие страницы будут наверху. Так, по крайней мере, говорит мой опыт. Так что не бойтесь доорвеев.
P.S. Конечно, тут нельзя переборщить, а то и весь сайт могут забанить.
Насколько я могу понять, первый - это тестовая версия нового робота, которую, по-видимому решили обкатать в боевых условиях(обычная процедура для для любого софта - тестовый режим).
Второй же бот - текущая версия, для замены которой предназначен первый.
Вижу, что обсуждение начинает уходить вбок от конструктивного русла. Отвечу так - подняться в поисковиках хотят все сайты. А почему я развел такую бодягу - просто хотел не отрезать от сайта как можно больше народа. Как говориться - "пусть уж лучше не будет друзей, лишь бы не было врагов"
Клоак на яве по полю User-Agent. Идея, скорее всего, возникшая от ощущения себя крутым кодером на JavaScript.
<font color="blue">Вот как! Приходишь, спрашиваешь конкретную вещь, потом по доброте душевной объясняешь что к чему, а в результате начинают проходится по твоей личности... </font>
При этом за бортом сайта останутся очень многие, чьи броузеры выдают нестандартное значение User-Agent. Просто потому, что все возможные значения ты просто не пропишешь - это раз.
<font color="blue">Как я уже упоминал, сайт корпоративный, ориентирован на буржуйскую публику среднего уровня, которая на 99,9% пользует IE... </blue>
Все значения, которые ты найдешь, надо будет впихнуть в тело страницы - это два.
Примерно 10-15% серферов ходят по Сети с отключенной явой, их ты оставишь за бортом - это три.
<font color="blue">С отключеной JavaScript у нас вообще делать нечего, просто ничего не увидишь, там все на ней повязано...
</blue>
Роботы вообще не читают JavaScript, так что подобные ухищрения ни к чему. Даже если он прикинется броузером, это ему не поможет.
<font color="blue">Не поможет в смысле редиректа с доорвея, но на нем есть ссылки статические, по которым он спокойно и проползет. А потом это утверждение вообще спорно - робот не обязан ВЫПОЛНЯТЬ скрипт, но он может его поанализировать на предмет тупого редиректа, и тогда привет...
</font>
В заключение - некоторые экзотические User-Agent, выловленные из реальных логов.
PPPPPPPPPPPPPPPPPP
Pockey/4.10.0(Win32; GUI; ix86)
Pockey/4.9.1(Win32; GUI; ix86)
RepoMonkey Bait & Tackle/v1.01
WebLeacher 2.1 (DigExt)
WebSauger 1.20i
3WebCapture 1.0 (Windows)
WebFetch
WebWasher
ja ja ja ja ja ja ja ja ja ja
netbox/3.5 R92.2 (Linux 2.2)
netbox/3.5 R92.5 (Linux 2.2)
Ask Jeeves)" (Ask Jeeves)
Blocked by Norton
Custo 1.1 (www.netwu.com)
DISCo Pump 3.1 DnloadMage 1.0)" (DnloadMage 1.0)
GetRight/4.1.1
GetRight/4.2
GetRight/4.2c
HiddenSurf.com/1.13d [en] (http://HiddenSurf.com)
ICS 1.3.72a)" (ICS 1.3.72a)
IPC450663544c-87753G3
Inet library
InterTran (tm)/2.01 (Unix)
Iria/1.07a
Iria/1.07s9a
SSearch150
SpaceBison/0.01 [fu] (Unix; X; ShonenKnife)
U-P-S VCI WebViewer VCI WebViewer Win32
WebCopier v.2.2
Webdup/0.8
aaaa.
eCatch/3.0
BiDi MSIE 3.02 (Windows 95)
ChinaClaw/1.
Geht keinen was an
JO3t7uz8FD
И два просто-таки шедевра
- ...i owe my life to Microsoft...
- MSIE/5.6 (Linux)
<font color="blue">А вот за это искреннее спасибо!</font>
Для реализации механизма Doorway. Когда агент получает страницу, можно определить его подпись, в зависимости от этого выполняется или невыполняется скрипт переадресации. То есть те агенты, которые подпадут под определние как браузеры (именно поэтому я и спросил, является ли слово "Mozilla" общим для всех браузеров), перенаправятся на сайт, а те, кто под определение не попадет, останутся на этой странице. Причем чтобы забанить этот сайт, робот должен очень тонко разбираться в JavaScript, поскольку перенаправление происходить при реализации определнных условий и не используется событие onLoad. В общем, это должен быть не робот, а монстр какой-то.
А основная цель - перепроска пользователей с обычным браузером с доорвея на основной сайт, поскольку иметь входную страницу с отсутствием дизайна не позволяет статус сайта...
В общем, ход рассуждений был примерно таким.
Весьма признателен!