- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день уважаемые форумчане.
Вопрос такого характера: есть сайт на wordpress (ему 6-7 месяцев), там стоит Robots.txt, все на сайте индексируется замечательно
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://мойсайт/sitemap.xml
User-agent: Yandex
Crawl-delay: 5
Disallow: /tag
Результаты в Яндекс-Вебмастере :
-загружено роботом 232
-исключено роботом 48.
Сейчас запустил еще два сайта на этом движке и взял этот robots.txt
Результаты в Яндекс-Вебмастере :
-загружено роботом 35
-исключено роботом 35
Плюс на новых сайтах Яндекс не видит внутрение ссылки.
Прочитал много информации в инете, увидел, что каждый тянет одеяло в свою сторону. Знающие люди, подскажите ...
Спасибо.
Неправильно у вас составлено. Для яндекса, например, нет никаких запретов на индексацию, хотя судя по первой части файла они должны были быть.
Disallow после Crawl-delay не должно идти
Disallow: /*?* - это зачем?
сам не знаю. Я раньше (не помню где) нашел этот robots.txt и по отзывам и коментариям решил, что вродь подходит... Индексация первого сайта тоже устроила, а теперь задумался...
Точно не помню, но это чуть пределаный robots от Лякактуса.
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Crawl-delay: 5
вот так надо тогда для яндекса
FlyAway спасибо. Поставлю ваш варант !
lexxxus, это для яндекса нужно изменить правило, Crawl-delay: 5 вообще можно нах убрать
Здраствуйте!
Подскажите кто ни будь. У меня подобная проблема. Сделал сайтик про кино за смс. Загрузил. Зашел робот яши и сообшил Загружено роботом 1 Исключено роботом 1. Как я не искал фаил robots.txt не нащел. Сайт остался не в индексе, что делать?
anzh, пора в школу тебе мой друг!
FlyAway спасибо, это понятно ...
anzh, пора в школу тебе мой друг!
Не понял? Что Вы имели ввиду?
Disallow: /*?*
Disallow: /*?
Первая строчка из них точно лишняя, они запрещают одно и то же.