- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
robots.txt для классического сайта html css?
нужен по причине удаления некоректной ссылки сайта (которую проиндексировал только яндекс)..
Напишите плз типа шаблона robots.txt? Как заблокировать ссылку например www.test.ru/dgdfdb.htm
User-agent: Yandex
Disallow: /dgdfdb.htm
Host: www.test.ru
User-agent: *
Disallow: /dgdfdb.htm
Sitemap: http://www.test.ru/sitemap.xml
Тут проверяйте: http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml
Подробное руководство по использованию robots.txt: http://help.yandex.ru/webmaster/?id=996567
User-agent: Yandex
Disallow: /dgdfdb.htm
Host: www.test.ru
User-agent: *
Disallow: /dgdfdb.htm
Sitemap: http://www.test.ru/sitemap.xml
Тут проверяйте: http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml
сайтмап обязательно? Если его нет?
сайтмап обязательно? Если его нет?
если нет, тогда конечно не нужно :)
а хост обязательно с www?
а хост обязательно с www?
а это смотря как вы продвигаете сайт либо с www, либо без. Но главное зеркало лучше указать, что бы не было лишних проблем потом с выдачей!
а хост обязательно с www?
Сайт работает и с www и без него
Сайт работает и с www и без него
как он в выдаче Яндекса находится, так и укажите
User-agent: *
Disallow: /dgdfdb.htm
Sitemap: http://www.test.ru/sitemap.xml
для Вас может и необязательно...
Мне надо сделать роботс.тхт но что бы ничего не запрещать. Тогда просто создать пустой файл?
Нет, тогда пишешь:
User-agent: Yandex
Disallow:
Host: www.test.ru
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: