Инфаркты у поисковых роботов

Я ни на чем не настаиваю. Религия штука сложная, и к практике имеет некоторое весьма опосредованное отношение.

я вам больше скажу - нужно!!!

есть логи сервера для подсчёта вполне достаточно, но хитрые пс, перестали передавать в рефе запрос, мотивируя это защитой пользователей, обеспечивая тем самым наличие кода на страницах сайта

этим занимаются не от большого ума - вообще, попытки подключить к сайту любую из основных социалок ведёт к потере трафика ;)

Экономика проще.

Что дешевле, написать парсилку, которой пофиг

</body> <title>

или которая ещё валидность перепроверит / откажется проиндексить невалидное?

У ботов документов слишком много, чтобы ещё следить за их правильностью. А себестоимость индексации минимизирована.

www.yandex.ru/yandsearch?text=url%3Aseo-xslt.narod.ru%2FDEMO*