Сделал, как написал выше. Как к этому отнёсся Гугль, пока не знаю, ещё не было реакции.
А вот Апорт почему-то проиндексировал запрешённые страницы, до этого было всё нормально.
Правда подозреваю, что дело может быть в другом...
Когда менял robots.txt, прочитал, что он оказывается должен быть в юникс-формате, т.е. символом перевода строки должно быть не \r\n а \n. Вот и поменял формат и тогда залил.
Хотя до этого всегда использовал формат \r\n, проблем не замечал.
Собственно, вопрос, так в каком формате всё-таки правильно делать robots.txt?
Интересно... вот прочитал:
Например, робот поисковой системы Google понимает расширенный формат robots.txt (в него входит, в частности, директива Allow для задания ссылок, доступ к которым разрешен, и директива Host для тех случаев, когда robots.txt описывает несколько веб-сайтов, либо один веб-сайт с несколькими "зеркалами".
взято отсюда: http://www.datapark.ru/CHulan/Upravlenierobotami.html
Это неверная инфа что-ли?
Interitus, Кажется, Host не только Яндекс поддерживает, но и другие поисковики, например Рамблер. Я потому и подумал, что так будет лучше. Не хочется чтоб были проблемы с адресом с префиксом www и без него. А раньше были, до введения директивы Host. Или я ошибаюсь, и это на самом деле не так?
Такой robots.txt будет корректным?
User-agent: Googlebot
Disallow: /manual/
Disallow: /404.php
Disallow: /userid.php
Disallow: /reglist.php
...
User-agent: *
Host: deep.webest.net
Interitus, так мне не только для Яндекса надо.
deleon, Помогает?
В гугле наконец-то появились первые страницы
Таки дождался индексации
Никто ничё не подскажет?
Вообще-то по правильному было бы, анализируя логи доступа, но у меня такой возможности нет, потому я определяю косвенным путём, по появлению новых страниц в выдаче.
Вот, за вчерашний день кол-во страниц в выдаче увеличилось с 200 до 1500... интересно, процесс пошёл, или будет снова падать кол-во страниц...
А в Гугле по прежнему глухо, ни одной проиндексированной страницы...
