- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
User-Agent: *
Disallow:
Host: tomck.com
Хочу, чтобы мой сайт не с какими другими не склеился. Решил на все свои сайты robots.txt закинуть.
правильно составил?
Нормально.
Хочу, чтобы мой сайт не с какими другими не склеился. Решил на все свои сайты robots.txt закинуть.
Роботс от склейки не спасёт (по крайней мере от той, которой вы боитесь). Пришите уникальный контент и пусть другие боятся).
Я за такой вариант:
User-Agent: Yandex
Disallow:
Host: tomck.com
User-Agent: *
Disallow:
Или как вариант используйте такой с картой сайта.
User-agent: *
Sitemap: http://www.tomck.com/sitemap.xml
Host: www.tomck.com
Или как вариант используйте такой с картой сайта.
User-agent: *
Sitemap: http://www.tomck.com/sitemap.xml
Host: www.tomck.com
строка Disallow должна быть обязательно, и еще один факт не давно обнаружил, почему-то яндекс не понимает строки Disallow: без параметров. Легко проверить вот так: http://www.yandex.ru/cgi-bin/test-robots?host=www.site.ru
Роботс от склейки не спасёт (по крайней мере от той, которой вы боитесь). Пришите уникальный контент и пусть другие боятся).
У меня такая ситуация. Основной домен, к нему пару припаркованых. Я думаю, что такой роботс.тхт меня должен спасти от того, что яндекс посчитает другой сайт за основной.
Правильно понимаю? Этот роботс указывает какой сайт всетаки главный?
Легко проверить вот так: http://www.yandex.ru/cgi-bin/test-robots?host=www.site.ru
там хитрая переадресация, можете дать нормальный пример?
dspu добавил 14.04.2008 в 19:26
Я за такой вариант:
User-Agent: Yandex
Disallow:
Host: tomck.com
User-Agent: *
Disallow:
+10000 ☝
хост надо для яшиного раздела отдельно прописывать от *
там хитрая переадресация, можете дать нормальный пример?
Нормальный пример дан. Вместо www.site.ru любой другой урл вводить надо.
хост надо для яшиного раздела отдельно прописывать от *
Не критично.
Нормальный пример дан. Вместо www.site.ru любой другой урл вводить надо.
не любой другой, а там где есть пустой disallow ;)
не любой другой
А что тогда? Проблема найти роботс с пустым disallow?