- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
вот оцените прописал робот.txt правда не знаю правильно
Не правильно... Host понимает только Яндекс. Правильно будет так:
User-Agent: Yandex
Disallow: /links.htm
Host: www.alfameds.ru
User-Agent: *
Disallow: /links.htm
Вот:
http://www.yandex.ru/cgi-bin/test-robots - Robots.txt глазами Яндекса
И еще вот тут почитай: http://robotstxt.org.ru/ - Все о роботсе :)
а что туда вводить URL? или что че то не получается...
а что туда вводить URL?
Для начала переименуй файл. НЕ robot.txt а robots.txt ssssss sss в конце.......
Да вводи url www.alfameds.ru
И вообще, НЕ правильно ты его составил... скопируй то, что я тебе написал и будет счастье. :)
Все щас поменял и сделал вот так
User-Agent: Yandex
Disallow: /
Host: www.alfameds.ru
User-agent: Yandex
Disallow: /links.htm
User-agent: Googlebot
Disallow: /links.htm
User-agent: StackRambler
Disallow: /links.htm
User-agent: Aport
Disallow: /links.htm
User-agent: Webalta
Disallow: /links.htm
User-Agent: Yahoo! Slurp
Disallow: /links.htm
Я еще просто не хочу делать для всех роботов, просто вдруг и роботы каталогов не будут видеть ссылки из-за robots.txt моего
Когда все поменял вот что пишет проверка, блин значит не правильно
http://www.yandex.ru/cgi-bin/test-robots?host=www.alfameds.ru
Мне то нужно чтобы яндекс индексировал этот сайт alfameds.ru, но не индексировал этот alfamed.org(это зеркало)
ААА стоп все все все, все переделал теперь все правильно точно!!!
robots.txt выглядит сейчас так:
User-Agent: Yandex
Disallow: /links.htm
Host: www.alfameds.ru
User-agent: Yandex
Disallow: /links.htm
User-agent: Googlebot
Disallow: /links.htm
User-agent: StackRambler
Disallow: /links.htm
User-agent: Aport
Disallow: /links.htm
User-agent: Webalta
Disallow: /links.htm
User-Agent: Yahoo! Slurp
Disallow: /links.htm
И проверка пишет только это: Запрещена индексация всех URL, начинающихся с указанных префиксов:
/links.htm
а проверка на сайт alfamed.org это: Запрещена индексация всех URL, начинающихся с указанных префиксов:
/
Индексация сервера www.alfamed.org:80 запрещена полностью.
Теперь все правильно
Всем огромное спасибо!!! выручили