- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Посоветуйте, пожалуйста - я в этом полный чайник. Прикрепила к домену третьего уровня домен в зоне Ру. Теперь хочу склеить оба сайта с помощью robot.txt, чтобы склеились показатели ТИЦ. Знаю, что над прописать в нем основной домен - Host: www.newsite.ru - т. е. мой новый домен.
Вот только не знаю, в какой строке это сделать. В Яндекс-FAQ дан такой пример:
User-Agent: *
Disallow:
Host: www.myhost.ru
Однако мой файл robot.txt сейчас выглядит иначе:
User-agent: *
Disallow: /_admin/
User-agent: Yandex
Crawl-delay: 5
Как я поняла, * - это остальные поисковики, Disallow: - запрет на индексацию определенной части сайта (админки), а вот что такое Crawl-delay: - не знаю...
Подскажите, пожалуйста:
- где надо прописать host: www.newsite.ru, чттобы на него отреагировал только Яндекс?
- не надо ли и для Яндекса прописать Disallow: /_admin/ ?
- что такое Crawl-delay: 5 ?
В идеале - хотелось бы подсказки, как должен выглядеть в готовом виде мой файл robot.txt.
1. host - понимает только Яндекс, поэтому писать в его блоке.
2. Лучше написать, хотя он наверно и так это увидит.
3. Снижает нагрузку на сервер, когда поисковый бот будет индексировать страницы.
Так например:
User-agent: Yandex
Disallow: /_admin/
Host: www.newsite.ru
User-agent: *
Disallow: /_admin/
Crawl-delay: 5
http://help.yandex.ru/webmaster/?id=996567#1022359
Str256, спасибо!
Пошла переделывать :)
как должен выглядеть в готовом виде мой файл robot.txt.
Проверьте название файла. Вы везде пишете robot.txt.
Такой файл для ПС неизвестен. Правильное название с буквой S на конце:
robots.txt
Проверьте название файла. Вы везде пишете robot.txt.
Такой файл для ПС неизвестен. Правильное название с буквой S на конце:
robots.txt
SAlex, спасибо за бдительность - на самом деле сам файл у меня так и называется - robots.txt, это здесь я сделала ошибку - скопировала и вставила название без последней буквы :)