Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Google не индексирует статьи

R
На сайте с 07.04.2013
Offline
44
Roinmana
728

Сайт на Joomla с родным sef ( ссылки на статьи имеют вид 

http://mysite/zdorovo/obraz-zhizni/39-mify-i-realnost
), отправлен sitemap с 50 страницами, но проиндексированы только разделы и подразделы, которых 15. На странице "Заблокированные URL" написано, что в robots заблокировано 35. Карта добавляется без ошибок. Помогите разобраться, не знаю уже что делать? как только 1 статью добавляешь - сразу на 1 количество заблокированых URL увеличивается... Вот robots: 


User-agent: *

Allow: index.php?option=com_xmap&view=xml&tmpl=component&id=1

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /language/

Disallow: /libraries/

Disallow: /log/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /webstat/

Disallow: /*start*

Disallow: /*feed*

Disallow: /*pop*

Disallow: /*print=

Disallow: /*mailto*

Disallow: /*search*

Disallow: /*users*

Disallow: /index.php

Disallow: /index.html

Disallow: /*?	

Disallow: /*& 	



User-agent: Yandex

Allow: index.php?option=com_xmap&view=xml&tmpl=component&id=1

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /language/

Disallow: /libraries/

Disallow: /log/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /webstat/

Disallow: /*start*

Disallow: /*feed*

Disallow: /*pop*

Disallow: /*print=

Disallow: /*mailto*

Disallow: /*search*

Disallow: /*users*

Disallow: /index.php

Disallow: /index.html

Disallow: /*?	

Disallow: /*& 	

Host: mysite.ru

Sitemap: http://mysite.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
fanat-apple
На сайте с 25.02.2013
Offline
14
fanat-apple
#1

Может неправильный роботс...

Вот самый правильный robots.txt для Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://путь к вашей карте XML формата

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: vash_sait.ru
Sitemap: http://путь к вашей карте XML формата
R
На сайте с 07.04.2013
Offline
44
Roinmana
#2

А какие дерективы там могут блокировать статьи? В Вашем Robots много дублей появится сразу.

E
На сайте с 21.09.2009
Offline
283
easywind
#3

Roinmana, в инструментах есть проверка роботса. Добавте туда странички и проверте доступность.

R
На сайте с 07.04.2013
Offline
44
Roinmana
#4
easywind:
Roinmana, в инструментах есть проверка роботса. Добавте туда странички и проверте доступность.

В том-то и дело, что я проверял - пишет, что "Разрешено" на все страницы из карты сайта. Но как только добавляю 1 новую статью, на завтра, в разделе "Заблокированные URL", на одну больше становится.

Сайт молодой - 3 недели. Понятное дело, если бы не индексировался совсем, но страницы добавляются в "заблокированные" исправно. Или это нормальное поведение и нужно ждать?

На новом сайте проиндексировалась Яндекс перестал индексировать блог Яндекс перестал индексировать блог
E
На сайте с 21.09.2009
Offline
283
easywind
#5

Roinmana, урл сайта и пример не индексируемой страницы которую еще в посмотреть как гугле бот не пихали в ЛС плиз.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий