Ребята, всех поздравляю!
Может форум находится на поддомене?
данный robots.txt разрешает сканирование файла.
словоебом +
ребята, только у меня сегодня не работает - анализ текстов?
Если речь о robots.txt, то в поддомены нужно положить файл полностью закрывающий индексацию:
User-agent: *
Disallow: /---------- Добавлено 29.12.2014 в 12:23 ----------
Я бы оставил строчку.
да, у любого сайта - это выдача быстроробота залайкнутая социалками. В сохраненке посмотри параметр FT.
можно через seo frog, через регулярки можно ограничить уровни, чтобы весь объем за 1 раз не сканировать.
User-Agent: Yahoo! Slurp
Disallow: /robots.txt---------- Добавлено 23.12.2014 в 14:34 ----------
запись
Disallow: /
так же закроет файл robots.txt, он обрабатывается и сайт как правило вылетает из индекса.
достаточно:
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
закроет - по умолчанию идет *(регулярка - все символы) в конце строки.