User-agent: *

Disallow: /раздел/

Host: www.сайт.ru



User-Agent: DISCo Pump, Wget, WebZIP, Teleport Pro, WebSnake, Offline Explorer, Web-By-Mail, Teleport Pro/1.29, Scooter-W3-1.0

Disallow: /

И вроде вся эта запись противоречит стандартам... однако ничего - работает. И оффлайн-браузеры не достают.;) 

Это и есть рулез. Каким таким стандартам это противоречит?

Кстати, может и качалок немеряно, может и вручную можно контент перелить, а только заблокировав самые популярные качалки, вы от 95% воришек застрахуетесь...

Есть предложение использовать хороший редактор, и все будет тип-топ!

Например notepad 😂

Очень интересный эксперимент, между прочим. Можно ли провести аналогию с .htaccess? Нахождение файла во вложенном каталоге...

Можно просто по реферреру смотреть.

Он, родимый. Просто полиси пока не отполировали, вот и не афишируют.

Да, так и есть! Я тоже ничего не понимаю. тИЦ Рамблера в три раза выше, чем у Яндекса. Что бы это могло значить??

Программа не имеет значения, лишь бы были сами логи. Смотреть их можно и в Экселе!

Оптимизация - ручная работа. Автоматически можно только дорвеи делать. Это такие страницы, которые "заточены" под один запрос, смысла нет содержат никакого смысла, их задача - пользователя перекинуть на основной сайт. Поисковики их (дорвеи) безжалостно ловят и пристреливают. Вместе с теми, кто сделал дорвей :-))

Москва теряет свои проценты в доле Рунета каждый месяц, и она давно уже не доминирует, так что надо быть в курсе. Думаете зря Яндекс тему регионов на передний план выдвинул?