bober: Строки Disallow: /categories/* Disallow: /page/* ничего не закрывают, чтобы закрыть эти директории, уберите звездочки: Disallow: /categories/ Disallow: /page/
Если бы это было написано лет 10 назад, это было бы справедливо.
Но уже много лет работает и вариант со звездочкой:
/hjshdkfjshf.html Заблокировано по строке 3: Disallow: /h*
Впрочем, звездочки здесь не нужны, в этом я согласен.
Ваша проблема в том, что вы не хотите читать документацию на robots.txt, . Ссылки есть в FAQ раздела для новичков.
В вашем robots.txt работает только первая секция из двух строк:
User-agent: * Host: sex-porn-xxx.com
И то бессмысленная, т.к. нет ни одной директивы Disallow
Во всех остальных блоках нет ни одной директивы User-agent:
поэтому поисковики их пропускают.
Меня удивляют люди, которые столько строчат на форумах, с пеной у рта что-то доказывают, но не читают совершенно нехитрую документацию и не пользуются простейшей проверкой в GWMT, про которую сами много кричат.
XPraptor: Гугл понимает тег allow только для директив регулярных выражений. Для обычного управления урлами - он не поддерживает эту директиву как и все остальные боты.
Такого бреда я от вас не ожидал.
Сейчас специально проверил. Разумеется, все работает, без всяких регулярных выражений. Пример был такой:
User-agent: *
Allow: /a
Disallow: /
Проверил URL /kjshdkfjshf.html - Заблокировано по строке 3: Disallow: /
Проверил URL /akjshdkfjshf.html - Разрешено в строке 2: Allow: /a
Все просто. И все работает.
hasugosu: Я выложил сайт с вот таким роботсом: User-agent: * Allow: /$ Disallow: /*
Не знаю регулярные это выражения, или не регулярные но значить они должны следующее - индексировать только главную, не индексировать все остальное
Все правильно написали. Звездочку в Disallow лучше убрать, она там всегда и так подразумевается.
P.S. Ну и срач с бредом развели на пустом месте, ну вы даете, кошмар. kimberlit один отбивался, уважаю :).
Разумеется, отдельный домен лучше.
Видимо, вам нужно обратиться в раздел "Работа для вебмастера".
Напишите об этом в яндекс, для подстраховки, приложите логи и т.д.
О, да, Платону больше делать нечего, чьи-то логи изучать. Не смешите народ.
Видимо, нужно на сайте написать, в чем состоит механизм получения скидки.
у ispsystem.net стоит какая-то простукивалка
Которая дергает счетчик LI ?
Если боитесь, запретите доступ к сайту с этих IP.
украинских версиях поисковиков?
У вас должно быть одно из зеркал главным, оно и будет во всех версиях каждого отдельного поисковика.
Чтобы идеть на двух стульях, нужно две ... версии сайта, на разных доменах и, видимо, на двух разных языках.
В разделе "Работа для вебмастера", разумеется, а не в разделе "Поисковые системы".
Строки
Disallow: /categories/*
Disallow: /page/*
ничего не закрывают, чтобы закрыть эти директории, уберите звездочки:
Disallow: /categories/
Disallow: /page/
Если бы это было написано лет 10 назад, это было бы справедливо.
Но уже много лет работает и вариант со звездочкой:
Заблокировано по строке 3: Disallow: /h*
Впрочем, звездочки здесь не нужны, в этом я согласен.
Уже пару недель, как убрал allow, закрыл все в dissalow http://sex-porn-xxx.com/robots.txt
Но гугл все равно продолжает жрать недоделанный сайт http://google.com/search?&q=site:sex...x.com&filter=0
Ваша проблема в том, что вы не хотите читать документацию на robots.txt, . Ссылки есть в FAQ раздела для новичков.
В вашем robots.txt работает только первая секция из двух строк:
Host: sex-porn-xxx.com
И то бессмысленная, т.к. нет ни одной директивы Disallow
Во всех остальных блоках нет ни одной директивы User-agent:
поэтому поисковики их пропускают.
Меня удивляют люди, которые столько строчат на форумах, с пеной у рта что-то доказывают, но не читают совершенно нехитрую документацию и не пользуются простейшей проверкой в GWMT, про которую сами много кричат.
Гугл понимает тег allow только для директив регулярных выражений.
Для обычного управления урлами - он не поддерживает эту директиву как и все остальные боты.
Такого бреда я от вас не ожидал.
Сейчас специально проверил. Разумеется, все работает, без всяких регулярных выражений. Пример был такой:
User-agent: *
Allow: /a
Disallow: /
Проверил URL /kjshdkfjshf.html - Заблокировано по строке 3: Disallow: /
Проверил URL /akjshdkfjshf.html - Разрешено в строке 2: Allow: /a
Все просто. И все работает.
Я выложил сайт с вот таким роботсом:
User-agent: *
Allow: /$
Disallow: /*
Не знаю регулярные это выражения, или не регулярные но значить они должны следующее - индексировать только главную, не индексировать все остальное
Все правильно написали. Звездочку в Disallow лучше убрать, она там всегда и так подразумевается.
P.S. Ну и срач с бредом развели на пустом месте, ну вы даете, кошмар. kimberlit один отбивался, уважаю :).
я уже более полугода не могу удалить две мертвые страницы... плюнул уже)))
Что значит мертвые? Какой код они отдают? 404 или как?