- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
ДОбрый день! Проблема вот какая. Я 14 февраля сделала файл robot txt по правилам.Вот мой файл User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Host: krutobussines.ru
Sitemap: http://krutobussines.ru/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
После этого установила ЧПУ.Все сделала как надо. Но после этого заметила, что яша не индексирует новые посты и робот кроме главной страницы никуда не ходит. Сайт http://krutobussines.ru, получается запрещены к индексации все рубрики, которые находятся слева!
Зашла в вебмастер и там оказалось вот что все мои рубрики
содержит мета-тег meta name="robots" со значением content="noindex" или content="none". Если вы намеренно запретили доступ к этим страницам, то исправлять ничего не требуется.
Если вы самостоятельно не размещали мета-тег и считаете, что эти страницы должны индексироваться, то рекомендуем вам обратиться к разработчикам вашего сайта или к хостеру.
Дату наличия запрещающего мета-тега в документе вы можете видеть напротив каждой исключенной страницы в графе «Последнее посещение». Если с момента последнего обращения робота страницы стали доступными, то они автоматически будут проиндексированы по мере обхода сайта, после чего появятся в поиске с обновлениями поисковых баз. То есть это было 14.02.
Cайт точно не в бане, отписывалась Платону, он сказал ищите noindex, удалила плагина СЕО ПАк платинум, где по умолчанию стояла галочка "noindex на архив" и "noindex к югу страницы", так как ставила плагин в это же самое время примерно.
Вроде все почистила, в админке галочку на запрет индекс не ставила, в исходном коде смотрела, плагин удалила три дня назад, а позавчера Яндекс опять выплюнул из выдачи 1/3, уже страниц то почти не осталось.Робот кроме главной страницы никуда не ходит.
Помогите найти этот тег пжта! Отблагодарю того, кто найдет где он спрятан.
Когда-то была похожая проблема на цмс-ке джумла, как в итоге выяснилось, все из-за включения ЧПУ. отключите или в настройках покапайтесь, думаю 90% что из-за этого
ЧПУ был установлен чуть раньше, и после этого сайт был проиндексирован, страницы появлялись в поиске
Кажется Disallow: /page/ тут лишнее.
А это: Disallow: /page/ что такое?
Disallow: /page/ если лишнее тогда почему не написали запрет в robot txt , а в вебмастере именно отдельным пунктом прописано, что тег запрещающий noindex стоит
Однозначно, что вот этим Disallow: /page/,
Вы сами запретили роботу лазить по страницам
я удалила.А почему не было написано в robot txt запрет
---------- Добавлено 09.03.2013 в 13:26 ----------
Странно, что этот Disallow page указан в лучших сео блогах, как составить robot txt)))Вы думаете, дело точно в этом?
Поисковый робот проиндексировал все страницы, которые были до написания запрета. Вы сами запретили ему ходит на страницы, он и перестал, по вашему желанию. Выполнил указание, прописанное в robots.txt
Кажется Disallow: /page/ тут лишнее.
Однозначно, что вот этим Disallow: /page/,
Вы сами запретили роботу лазить по страницам
Вы на сайт хоть заходили?
Заходил, уже лишняя строка убрана. А вообще и без захода все понятно было.