- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Суть такая.
Сайту этому месяц. в гугле был давно..
Проиндесировались только отдельные страницы.. все почти новости статьи и список магазинов.
другие страницы не проиндексировались.
вот роботс что надо индексить:
Allow: /catalog/11-ss/906-ff/
Allow: /catalog/11-dd/1752-gh/
Allow: /catalog/11-gg/1777-dh/
Allow: /catalog/11-hh/141-fd/
Allow: /catalog/11-jj/52453-gf/
Allow: /news
Allow: /articles
Allow: /shops
Dissalow: /
далее.
--catalog/11-jj/52453-gf/ может слешы в этих, в конце, лишние?
почти все shops/articles/news/ проиндексировались . а вот эти не хотят..таких 70 штук в роботс.
пути раньше были другими. одни цифры. потом прогер что то подправил в скрипте. и стали такими. может ещё в этом дело? были вроде 11.php?asdff что то типа этого.
В robots.txt нет директивы 'Allow'. Есть только 'Disallow'.
То есть, вот этим вот:
Вы запрещаете индексировать весь свой сайт, и удивительно, что что-то проиндексировалось. Возможно, это из-за отсутствия 'User-agent'.
Чтобы разрешить всем роботам индексить сайт, просто удалите robots.txt или оставьте пустым или напишите в нём:
Dissalow: /
-запрещение сайта индексации с корневого каталога
]В robots.txt нет директивы 'Allow'. Есть только 'Disallow'.
Не совсем так. Яша ее поддерживает
http://help.yandex.ru/webmaster/?id=996567#996571
zend921, Вам стоит указывать для какого бота Вы это описываете. Ведь каждый бот имеет специфические параметры, которые поддерживает только он
Allow: /catalog/11-ss/906-ff/
Allow: /catalog/11-dd/1752-gh/
Allow: /catalog/11-gg/1777-dh/
Allow: /catalog/11-hh/141-fd/
Allow: /catalog/11-jj/52453-gf/
Allow: /news
Allow: /articles
Allow: /shops
Dissalow: /
.
Зачем такие мутки? Морда в индексе не нужна?
Все это я делаю только под гугл
Вот то что быстро накапал.
http://blog.dimok.ru/optimizatsiya-robots-txt-dlya-wordpress
Allow и Disallow
"Разрешается, и, соответственно, запрещается доступ к некоторым разделам сайта, либо к всему ресурсу целиком. Allow поддерживается только Яндексом и Гуглом."
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449
вот тест:
Строка Allow: /*?$ разрешает доступ ко всем URL-адресам, оканчивающимся знаком вопроса (то есть ко всем URL-адресам, которые начинаются с названия домена и содержат цепочку, заканчивающуюся на ?, после которого нет других символов).
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449
Например, робот Googlebot поддерживает расширенное определение стандартного протокола robots.txt. Он распознает директивы "Allow:", а также некоторые типы соответствия шаблону.
"Зачем такие мутки? Морда в индексе не нужна?"
User-agent: Googlebot
Allow: /index.php
морда прописана. не все скопировал.
Зачем такие муки?.. просто не уникальный контент на пагах, я его закрыл для индексации. а что уникальное открыл.
zend921 добавил 19.01.2010 в 12:30
одну ошибку нашел. надо вместо Dissalow: / - Disalow: / ..