Если говорить в общем и целом - да. Мы же всё-таки действуем с Вами в правовом поле, а если проводить аналогии в данной ситуации с реальным бизнесом, то всплывают достаточно нелициприятные аналогии. В данном случае, по моему мнению, наносится вред как вебмастерам (передача информации третьим лицам), так и рядовым оптимизаторам (недополученная информация из-за невозможности проведения запросов к Api). То есть как обычно - страдают все, кроме крупных игроков. Очень некрасиво получается.
Скрытие URL - это встроенная функция Sape, не стоит выяснять её логичность. А вот логичность выдачи скрытого юрл'а любым лицам, умеющим пользоваться Api, стоит под сомнением.
Хорошо, перефразирую вопрос. Почему через Api выдаётся информация о сайтах со скрытым URL? Вы считаете, что это честно? Или хотя бы логично?
Можно трафика на время модерации просто прикупить.
Хорошего - по немножку. Это относится и к пиву, и к сапе, и к статьям. По моему мнению лучшее продвижение - оптимизация по всем фронтам. Тем более с таким неплохим бюджетом. Купите и там и там, посмотрите на результат. Можно попробывать двигать отдельные запросы статьями, а другие скажем сапо-ссылками.
Предыдущий оратор вполне корректно охарактеризовал оптимизацию сайта. Вернее её отсутствие. Приведу несколько самых вопиющих недочётов:
1) Блок "О товаре". Как Вы считаете, дублирующаяся на каждой странице информация, это хорошо с точки зрения ПС?
2) Дескрипшн должен содержать краткое описание товара, но никак не дублировать частично keywords.
3) Описание к каждому товару минимальное и часто не содержит никакой реально полезной информации.
4) Картинки не кликабельны, а ведь потенциальному покупателю хочется осмотреть товар со всех сторон.
Подозреваю что общие поведенческие качества у сайта просто отвратительны. Надо смотреть на конверсию и т.д. и т.п.
При правильной настройке 301 редиректа необходимость директивы host в robots отпадает сама собой. Использованием 301го мы и так сообщаем поисковику, что страница Moved Permanently, то есть перемещена навсегда. Поэтому насильно запрещать индексацию URL с index.html будет не совсем верно, тем более, до того, как поисковик перейдет на индексацию страниц без index.html.
С точки зрения поисковой оптимизации абсолютно неважно, будет ли url содержать кириллицу или латиницу. Поисковики уже давно научились понимать кириллические символы в названии. А вот если юзеру захочется, например, поделиться ссылкой в соц. сети его, мягко скажем, удивит возникшие непонятно откуда странные символы (вместо русских букв) в названии.
По моему мнению URL'ы должны быть наиболее короткие, но при этом отражающие суть содержания страницы. Второй вариант будет смотреться намного красивее. ИМХО.
Вам уже указали на грубейшую, по моему мнению, ошибку. Директивой в файле robots.txt Вы пытаетесь доказать Яндексу что Ваш сайт является зеркалом абсолютно другого сайта.
Upd: Впрочем, данную проблему Вы уже исправили. Молодец ;)
ТС, непонятен вопрос. Какое ещё "управление программой"? В site.ru/pw-admin получаетсся зайти?
