- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет! Посмотрите, пожалуйста, robots! Правильно ли он составлен? Я добавил его около 2-ух недель назад на сайт, а ссылки из гугла так и не вылетели!
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /tags/
Disallow: /page/
Disallow: */page/*
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /admin.php
Disallow: /engine/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /pravoobladatelyam.html
Disallow: /2014/
Disallow: /1996/
Disallow: /1997/
Disallow: /1998/
Disallow: /1999/
Disallow: /2000/
Disallow: /2001/
Disallow: /2002/
Disallow: /2003/
Disallow: /2004/
Disallow: /2005/
Disallow: /2006/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Host: название_сайта
Sitemap: http://название_сайта/sitemap.xml
Ну вообще надо знать, какие страницы вы закрыть пытаетесь.
robots.txt тут можно проверить: http://webmaster.yandex.ru/robots.xml
Посмотрите, закрыли ли нужное и не закрыли ли лишнего.
Я и пытаюсь узнать, правильно ли я закрыл или нет. В выдаче гугла есть страницы типа: материалы за 1999 и т.д. Вот их я и пытаюсь закрыть.
Лучше тут обсуждать.
Вообще, чтобы узнать правильно или нет, нужно видеть URL-ы которые вы хотите закрыть. В целом ошибок не вижу.
Вот сайт kinolike.net (не реклама). Если ввести в гугле site:kinolike.net и перейти на 3 страницу, именно с нее, начинаются ссылки типа: материалы за 1989 год. В панели вебмастеров я удалял их, а они снова появились.
А от размера robots.txt что-либо зависит? Просто если он будет очень длинный 100-150 строк, то это как то может навредить?
Хост лучше писать для Яндекс бота, т.к. Гугл его не учитывает. Закрывать информационные и навигационные страницы не нужно. Только технические и дубли.
А от размера robots.txt что-либо зависит?
Нет, все равно его обработают - если будет грамотно составлен.
Pivovarof, а вы пробовали инструмент "просмотреть как Googlebot"? Видит он эти страницы при текущем роботсе?
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /*?*
Disallow: /*?s=*
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/*
Disallow: /page/*
Disallow: /tag/otchet*
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /*?*
Disallow: /*?s=*
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/*
Disallow: /page/*
Disallow: /tag/otchet*
User-agent: ia_archiver
Disallow: /
То есть отдельно для всех и отдельно для яндекс вот так будет правильно?
Да, только host и sitemap нужно тоже прописать
Да, только host и sitemap нужно тоже прописать
Это прописано, просто не стал добавлять сюда. Спасибо :)