и желательно, всмятку.
зная IP ботов ПС и даже не ПС, а каких-то "левых" ботов, могут запрещать вход на уровне DNS, или модуля технологии Greylisting, с помощью htaccess.
а что касается анонимайзера... то на то он и анонимайзер...
боты ПС не шифруются под анонимайзер, они имеют субординацию, умеют общаться с серверами
интеллигентными языками.
robots.txt лежит в корне директивы сайта.
у хостера, кроме снижения нагрузки на сервер, есть и другие варианты, кроме как robots.txt
зы... проверить свой robots.txt можно тут - https://webmaster.yandex.ua/robots.xml
если основной доход с Adsense, то сам сайт, его "наляпистость", припятсвует заработку...
куча виджетов, всяких мерцающих банеров... что-то кругом блымает, куча лиц улыбающих,
целующих, куда-то призывающих...
куда там до Adsense...)))
По пятницам, субботам и воскресеньям планирую давать небольшие
платные консультации по сайтам - правильные редиректы, выявление ошибок исходного кода,
склейка зерка и т.д.
Обращаться можно в ICQ или личку форума.
пытаюсь вангавать. :)
просто, доски объявлений так и живут...
но ваша не самая лучшая, ибо много мусора на ней, типа дублей и страниц, не несущих полезной информации.
а те, которые уже прижились, типа Сландо, довели свой функционал, до более или менее удобного для пользователей.
стало быть, он и не нужен, ни пользователю, ни ПС...
достаточно будет, короткий, "живой" текст, который не нужно закрывать, ибо пользы от него меньше, а вреда больше.
прошли те времена, когда роботы ПС были глупые как дети...)))
ну, возможно, что уровень вложенности оказался выше, или вес страницы, с учётом перекрёстных ссылок, перевешивает не в пользу релевантной страницы.
ну и конечно же - TITLE, касательно текстового контента, тоже может являться весомой причиной.
а какой тогда смысл от seo-текста, если задача стоит - не отдавать его на индексацию???
