Muxa, перечитайте выше пост andre. Я согласен с ним и со spark тоже.
euhenio, тоже не согласен. ;)
Удобнее получить карту, которой можно доверять и что-то еще с ней делать, увеличивать и т.д. Решается это просто -- ставится ссылка на картографический ресурс. Аналогично для визы. А дублировать информацию незачем.
wolf, Вы правы, украинскую букву і, также, как и ї Яндекс учитывает, как русскую и.
Blaster, за Вашим сайтом я понаблюдаю, потому что парочка статей на нем очень похожи на те, что есть на одном из моих подшефных сайтов.
Здесь, либо через поиск
Или, как робот Инктоми, который проверяет robots.txt после "забора" нескольких страниц.
Если запись сделана так, как Вы ее привели, то перед двоеточием не должно быть пробела.
У Вас на сайте 100 000 страниц с приличным контентом? 🙄
И никак нельзя выделить наиболее значимую часть?
Тогда действительно ждать и надеятся. ;)
Файл составлен неверно: Disallow должен начинаться с / или быть пустым, такая запись игнорируется и поведение системы, в общем случае, предсказать сложно.
Присоединяюсь к поздравлениям!
В случае с Яндексом, воспользуйтесь директивой Host в robots.txt, если интересуют все остальные, то robots.txt следует формировать динамически.
