В общем частая ошибка при копировании роботс.тхт
In general, a common mistake when copying robots.tht
Смотря что у вас за движок. Например в WP часто создаются дубли когда редактируешь материал. И это впринципе не страшно, но есть такая особенность я бы сказал: если запретить в роботсе индексацию этих дублей, то боты все равно индексируют их и включают в поиск, таким образом сайт быстро попадает под фильтр, понятно из-за чего. Но если запрета нет, то бот индексирует, но не включает их в индекс и тогда все нормально.
It depends on what you do for the engine. For example in the WP doubles are often created when redaktiruesh material. And this principle is not terrible, but there is a feature I would say: if prohibit Robots indexing these duplicates, bots still index them and include in the search, so that the site gets quickly under the filter, it is clear from what. But if there is no prohibition, bot indexes, but does not include them in the index, and then everything is fine.
