"голы это'о видео" - не догадались?
Другими словами: кто хочет судимость?
Разместить ваш варезник желающих нет.
но лучше писать непосредственно после всех Disallow.
cheredov, OK.
А жаль, я бы посмотрел на пример, на эксперимент, попробовали бы добиться повторяемости.
Полное дублирование блоков для Яндекса - да, согласен, оно обычно ни к чему. Директиву Host , как оказалось, можно писать вообще отдельно.
Спрашивайте у хостера.
Пишите в раздел "Работа для вебмастера".
Так скоро дойдете до документации в виде комиксов.
Почтиайте сначала про аффилиаты, прежде чем необратимо спалить кучу денег, сил и времени.
Впрочем, вам это никто не может запретить.
Вы про апдейты Яндекса вообще слыхали?
Посмотрите еще вот тут.
Это можно понять только одним способом:
вы должны взять лог-файл (например за сутки) и выбрать из него те строки, в которых встречается подстрока 'robots.txt'.
После этого вам будут хорошо видны обращения разных ботов к этому файлу.
Какой использовать инструмент? Если у вас нет grep, возьмите Excel и используйте фильтр.
Да. Видите, у вас же все есть.
Только вы отфильтруйте строки, в которых встречается robots.txt, ведь именно это вас интересует. А вы привели запрос к урлу /tags .
