Разумеется, отдельный домен лучше.
Видимо, вам нужно обратиться в раздел "Работа для вебмастера".
О, да, Платону больше делать нечего, чьи-то логи изучать. Не смешите народ.
Видимо, нужно на сайте написать, в чем состоит механизм получения скидки.
Которая дергает счетчик LI ?
Если боитесь, запретите доступ к сайту с этих IP.
У вас должно быть одно из зеркал главным, оно и будет во всех версиях каждого отдельного поисковика.
Чтобы идеть на двух стульях, нужно две ... версии сайта, на разных доменах и, видимо, на двух разных языках.
В разделе "Работа для вебмастера", разумеется, а не в разделе "Поисковые системы".
Если бы это было написано лет 10 назад, это было бы справедливо.
Но уже много лет работает и вариант со звездочкой:
Впрочем, звездочки здесь не нужны, в этом я согласен.
Ваша проблема в том, что вы не хотите читать документацию на robots.txt, . Ссылки есть в FAQ раздела для новичков.
В вашем robots.txt работает только первая секция из двух строк:
И то бессмысленная, т.к. нет ни одной директивы Disallow
Во всех остальных блоках нет ни одной директивы User-agent:
поэтому поисковики их пропускают.
Меня удивляют люди, которые столько строчат на форумах, с пеной у рта что-то доказывают, но не читают совершенно нехитрую документацию и не пользуются простейшей проверкой в GWMT, про которую сами много кричат.
Такого бреда я от вас не ожидал.
Сейчас специально проверил. Разумеется, все работает, без всяких регулярных выражений. Пример был такой:
User-agent: *
Allow: /a
Disallow: /
Проверил URL /kjshdkfjshf.html - Заблокировано по строке 3: Disallow: /
Проверил URL /akjshdkfjshf.html - Разрешено в строке 2: Allow: /a
Все просто. И все работает.
Все правильно написали. Звездочку в Disallow лучше убрать, она там всегда и так подразумевается.
P.S. Ну и срач с бредом развели на пустом месте, ну вы даете, кошмар. kimberlit один отбивался, уважаю :).
Что значит мертвые? Какой код они отдают? 404 или как?
