Ресурс - это не хост, и не сайт.
T.R.O.N, у робота сложный алгоритм, на какие страницы как часто ходить. Яйцеголовые ученые годами их совершенствуют, ездят в америку, выступают на конференциях по поисковым технологиям. А вы предлагаете нам угадать.
Хотя реже, чем раз в три недели - это если сайт заброшен и на нем долго ничего не менялось. А еще двух недель не прошло, ну куда вам чаще?
Анна, роботы не берут картинки, поэтому вы их не увидите в статистике хотлога и других счетчиков. Их легко идентифицировать по User-Agent. Можно также смотреть IP-адреса, но это уже лишнее.
Сомневаюсь, что за полгода Яндекс ни разу не зашел. Ищите строки
Yandex/
поставить запрещающий robots.txt и подождать.
http://www.rambler.ru/doc/faq.shtml#27
http://www.google.ru/intl/ru/remove.html#exclude_website
Да где же их взять?!
Надо просто написать программу-робота, которая будет брать откуда-нибудь список сайтов (например из большого каталога) и смотреть /robots.txt у каждого. Например на языке perl это не должно быть сложно.
Хотя можно и угадать, например посморите
http://sm.aport.ru/robots.txt
http://yaca.yandex.ru/robots.txt - закрыто почти все
http://www.yandex.ru/robots.txt
http://www.rambler.ru/robots.txt
При поиске по каталогу, или просто в каталоге?
Если первое - сначала идут сайты, где запрос в НАЗВАНИИ. Затем - сайты, где запрос только в описании.
Если второе - приведите пример рубрики.
Вроде одно другому не противоречит, т.е. /yca/cat/ разрешено индексировать всем поисковикам, кроме самого Яндекса.
Aport и Googlebot соответственно.
Nptns, так и есть, вам надо RTFM справа и по ссылке . Неужели это так сложно?
Никто ничего не должен. Что вы имеете в виду под ИЦ?
Яндекс показывает только тИЦ и больше ничего.
