robots.txt и доры?

помоему бредовый сайт

Вообще зачем дору robots.txt - там же по смыслу нужно все странице в индекс загнать. А robots.txt по большей части служит для закрытия от индексирования некоторой части сайта.

А вам мысль о том, что Яндекс только контент анализирует, не приходила? Ну не хватит ресурсов анализировать все варианты редиректа. Намного проще следить за поведением трафика :)

Зы. Роботс вообще никогда не юзал.

доры банят не только по редиректу :D , это понятно как 2х2

если у вас и нет редиректа то ваш дор по количество keywords и description и так вычаслят

без редиректовый дор живет конечно дольше, но и редиректный живет нормально если редирект не наглый

Вы не подумайте я не оспариваю что лучше редирек или без редиректа, мне побольшому счету пофиг на ваши доры

А вам мысль теорию почитать не приходила?

labadun - плюнули в некуда называется

щас весь редирект на java, а яву читать пока ботов никто не научил так скажите мне как же бот палит редирект тогда 😂

Открою тебе секрет, робот JavaScript просто исполняет.

Шифровал как только мог редиректы, кодировал блин посимвольно в разных файлах. Вообщем такую хрень городил, что ни один человек не расшифрует.

Итог:

Яндекс - 1 раз посещает сайт, и больше не возвращается

Гугл - спокойно переходит по зашифрованому редиректу и гуляет по тому сайту куда он ведет. Сам сайт индексирует, но позиций в поиске у него нет.

Ну не скажите, недавно первым апом вылез дор в Яше на больше чем 2к страниц....два дня давал трафа и следующим же апом полностью оттуда вылетел. Дор без редиректа. Аналогично и редиректный дор. То есть поведение то же.

У меня безредиректный дор уже 2 месяца висит, дает копейки трафа (100-200 уников в день).

Дор полностью палевный, с чудовищной плотностью кеев и заезженным шаблоном.

а вот кстати народ как- то вроде можно задать скорость индексации яндексом, тоесть интервал хавания страниц, не подскажете как?