В данном случае не нужно, а в общем для доменов третьего уровня robots.txt пишется точно так же, как и для доменов второго. Вот на поддомене forum на этом сайте robots.txt нету, так Яндекс успешно проиндексировал весь мусор, вроде printthread.php, misc.php, member.php, etc., которые на основном домене запрещены и не индексируются.
Ну а я за прошлый раз отыграюсь. ;)
Я буду.
Ace, решил еще взять первое место в Гугле по украинскому написанию? :D
Как это принято в спецификации протокола HTTP, дата должны быть в формате, описанном в rfc-822, краткое описание.
Когда документ последний раз запрашивался роботом.
Это зависит от того, как Вы будете дату обрабатывать, роботы делают запрос в GMT.
На фоне кучи топиков с темами "Яндекс не индексирует сайт!" и т.д. тема заслуживает внимания. :)
dsh, для этого есть специальный мета-тег:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
lemo, надо указывать по какой статистике вопрос.
Если по отчетам AWStats, то первая цифра -- это запросов робота к страницам, а вторая -- запросы robots.txt.
Об этом, кстати, в сноске под таблицей написано.
Большинство односложных запросов -- это предлоги, которые чаще всего входят в список стоп-слов, вот по ним и не получается вывести сайт в топы. :D
А вот однословные запросы -- это совсем другой разговор...
Предложение принимается.
Можно, если последовательно перейти по ссылке "Найденные слова" возле ссылки на страницу в результатах поиска Яндекса, а затем по ссылке "Сохраненная копия" на открывшейся странице.
Можно сделать руками так, чтобы Гугль склеил побыстрее. Для этого все внутренние ссылки сделать абсолютными. Можно прописать ServerAlias в Апаче, тоже помогает.
