- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Заранее извиняюсь за ламерский вопрос :o
В общем, есть сайт, на нём много лишних страниц, страниц поиска, сортировки. Все имеют похожий вид:
http://sait.ru/razdel/search.html?uname=garik&opt=111
http://sait.ru/razdel/search.html?uname=garik&opt=222
http://sait.ru/razdel/search.html?uname=garik&opt=333
1) Т.к. Яндекс сейчас не очень любит дубли и прочее, хочу всё это закрыть. Правильный ли вот такой robots.txt:
User-agent: Yandex
Disallow: /search.html
Host: sait.ru
User-agent: *
Disallow: /search.html
(или надо Disallow: /search.html? или Disallow: /search.html?uname) ???
2) Нужно ли для Гугла также отдельно прописывать User-agent: Googlebot или он и так поймёт? :)
вот так напишите и гугл и яша и все остальные нормальные роботы корректно расценят
mlsha, а нафига звездочка на конце?
так как всё-таки правильно будет, вот так? :) - *search.html?
а зачем звездочка впереди, разве слэш не правильно будет? или всё-таки лучше звездочку? :)
вот блин, чайник я в этом деле...
User-agent: Yandex
Disallow: /razdel/search.html?
Host: sait.ru
User-agent: *
Disallow: /razdel/search.html?
сделай и все, если много разделов то
User-agent: Yandex
Disallow: *search.html?
Host: sait.ru
User-agent: *
Disallow: *search.html?
FlyAway, зачем заведомая дезинформация? Смотрите вниметельнее:
http://sait.ru/razdel/search.html?uname=garik&opt=111
http://sait.ru/razdel/search.html?uname=garik&opt=222
http://sait.ru/razdel/search.html?uname=garik&opt=333
Disallow: /search.html?
Никакого запрета нет, все указанные урлы разрешены.
Disallow: /*search.html?
А вот так запрет сработает.
iq2003, если что, в Яндексе есть форма для тестирования robots.txt и урлов: http://webmaster.yandex.ru/robots.xml .
зачем заведомая дезинформация? Смотрите вниметельнее:
Прочитайте внимательнее мой пост выше. Я его опубликовал и на живую потом подредактировал.
Тут зависит от того, что может быть весь контент в /razdel/ лежать и не имеет смысла тогда применять *, проще конкретное правило прописать и не изобретать велосипед. При условии же, если много разделов то да, действительно см. выше пост * нужна.
FlyAway добавил 16.07.2010 в 12:58
Никакого запрета нет, все указанные урлы разрешены.
Disallow: /*search.html?
тут лишний слеш.
Ребят, Спасибо!!! Значит сделаю вот так:
Disallow: /*search.html?
mlsha, а нафига звездочка на конце?
ну как сказать :) можно и его не ставить т.к. он там по умолчанию домысливается... я его написал только для того чтобы явным образом показать, что запрещаем к индексации всё, что содержит данную строку...
а так, конечно, эти строки сработают абсолютно одинаково:
что-то вы меня немного запутали)))
Disallow: /*search.html? - вот здесь нужен слеш или нет? :)
Я пишу его всегда, урлов без слеша не бывает.
Но вы можете поэкспериментировать и не писать. Звездочка должна подходить и под слеш.