gatto, если вы уже точно определились с запросом, так напишите его именно в таком виде на паре страниц вашего сайта хотя бы по одному разу. Пока его не наблюдается даже в тексте страниц вашего сайта. Сравните с результатами поиска по всем сайтам , сделайте выводы.
Хотя есть еще соображение, как подольше повисеть на первой странице. Ведь в выходные меньше регистраций, к тому же модераторы тоже должны отдыхать. Поэтому в список новых сайтов лучше попасть в пятницу. Если регистрируют быстро - четверг хороший день.
dimok, не вижу смайлика.
Мысль то понятна, но периодичность обхода главных страниц каталогов роботом оень индивидуальна, и угадать довольно трудно. Особенно, если в каталоге много страниц (много тысяч), то робот заходит редко. В любом случае эффект от попадания на 1-ую страницу временный, я бы не стал особенно заморачиваться.
Может я что-то не понял, но мой опыт соответствует доке, т.е. если указать полный URL, то:
"Note that when you specify an ErrorDocument that points to a remote URL (ie. anything with a method such as "http" in front of it), Apache will send a redirect to the client to tell it where to find the document, even if the document ends up being on the same server. This has several implications, the most important being that the client will not receive the original error status code, but instead will receive a redirect status code."
Вы только учтите, что такая конструкция не выдаст код 404, а устроит редирект (301 или 302, я их путаю).
Наверное про организацию внутренних ссылок забыли написать.
Вы не так смотрели, там есть кое-что.
Только глядя в логи веб-сервера.
Вчера вечером обратил внимание, что бот взял 350 страниц за 1 минуту, через пару минут еще 2 раза примерно по 200. Как-то довольно резко, наверное проверял сайт на прочность :). Итого - 750 за 5 минут.
