Форум Поисковые системы Google

Предупреждение в "Инструментах вэб-матсеров"

12
AR
На сайте с 01.04.2012
Offline
78
And-rey
1521

Не пойму чего надо делать с этим сообщением в панели "Webmasters - tools":

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. ... количество проблем - 22

:confused:

Вот он мой robots.txt -

User-agent: *
Disallow: /administrator/
Disallow: /spetspredlozheniya/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /share42/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*

Host: mysite.ru
Sitemap: http://mysite.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1

и чего мну надо для этого Гугл переделать-подправить?:(

Gennadi
На сайте с 18.12.2012
Offline
138
Gennadi
#1

Если вы хотите участвовать в поиске по картинкам уберите из запрета индексации строку

Disallow: /images/ Что то вы закрыли от индексации то что есть в карте сайта. Посмотрите в карте

сами мы же ее не видим(может это и картинки)

Google Image Search открыл Yahoo обновила поиск по Google Image Search с
AR
На сайте с 01.04.2012
Offline
78
And-rey
#2

В структуре сайта да и в пунктах меню нет ссылок на папку с картинками... или робот подхватывает пути, где лежат картинки. Ох и горе мне с этой джумлой.. =))

Вот мой .htaccess, может там чего-то накрутил лишнего:

AddDefaultCharset utf-8

php_flag display_errors off
php_value error_reporting 0


Options +FollowSymLinks
Options -Indexes

<FilesMatch ".htaccess">
Order allow,deny
Deny from all
</FilesMatch>

<FilesMatch "configuration.php">
Order allow,deny
Deny from all
</FilesMatch>

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.mysite\.ru$ [NC]
RewriteRule ^(.*)$ http://mysite.ru/$1 [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /glavnaya\.html\ HTTP/
RewriteRule ^glavnaya\.html$ http://mysite.ru/ [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://mysite.ru/ [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ http://mysite.ru/ [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /glavnaya\ HTTP/
RewriteRule ^glavnaya\$ http://mysite.ru/ [R=301,L]

Redirect 301 /glavnaya http://mysite.ru/
Redirect 301 /glavnaya.php http://mysite.ru/
Redirect 301 /glavnaya.htm http://mysite.ru/




########## Begin - Rewrite rules to block out some common exploits
## If you experience problems on your site block out the operations listed below
## This attempts to block the most common type of exploit `attempts` to Joomla!
#
# Block out any script trying to set a mosConfig value through the URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
#
########## End - Rewrite rules to block out some common exploits

# Uncomment following line if your webserver's URL
# is not directly related to physical file paths.
# Update Your Joomla! Directory (just / for root)

# RewriteBase /


########## Begin - Joomla! core SEF Section
############# Use this section if using ONLY Joomla! core SEF
## ALL (RewriteCond) lines in this section are only required if you actually
## have directories named 'content' or 'component' on your server
## If you do not have directories with these names, comment them out.
#
#RewriteCond %{REQUEST_FILENAME} !-f
#RewriteCond %{REQUEST_FILENAME} !-d
#RewriteCond %{REQUEST_URI} ^(/component/option,com) [NC,OR] ##optional - see notes##
#RewriteCond %{REQUEST_URI} (/|\.htm|\.php|\.html|/[^.]*)$ [NC]
#RewriteRule ^(content/|component/) index.php
#
########## End - Joomla! core SEF Section


########## Begin - 3rd Party SEF Section
############# Use this section if you are using a 3rd party (Non Joomla! core) SEF extension - e.g. OpenSEF, 404_SEF, 404SEFx, SEF Advance, etc
#
RewriteCond %{REQUEST_URI} ^(/component/option,com) [NC,OR] ##optional - see notes##
RewriteCond %{REQUEST_URI} (/|\.htm|\.php|\.html|/[^.]*)$ [NC]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule (.*) index.php
#
########## End - 3rd Party SEF Section
Google: почему в блоках Секреты индексации динамических страниц В Telegram появилась возможность
AO
На сайте с 29.01.2011
Offline
78
Ark-of-Truth
#3

Нужно смотреть карту сайта, и искать страницы которые находятся в папках указанных в Disallow

По данным угла у вас 22 такие страницы.

Исправить можно либо удалив страницы из карты, либо разрешить к ним доступ роботу.

myTarget добавил правило для Google Диск позволил блокировать На Google Карты теперь
[Удален]
#4

Почему бы адрес карты сайта не упростить через Rewrite ?

AR
На сайте с 01.04.2012
Offline
78
And-rey
#5

да уж... что-то мне кажется я перестарался с борьбой по отсеканию дублей, спотыкается робот на блокировке всяких ..index.php?option

Стоит на сайте компонент sh404SEF, переколшмачивает ссылки типа

mysite.ru/index.php?option=com_jea&Itemid=171&id=101&lang=ru&view=property

в ЧПУ - mysite.ru/10-arenda-kvartiry-v-vihino

А что значит "адрес карты сайта не упростить через Rewrite"?

Подружи Joomla! с SEO Яндекс обновил личный кабинет WebArtex запустила интерфейс API
iren K
На сайте с 28.12.2008
Offline
222
iren K
#6
And-rey:

А что значит "адрес карты сайта не упростить через Rewrite"?

чпу

.......

c уважением Iren
Gennadi
На сайте с 18.12.2012
Offline
138
Gennadi
#7

And-rey,

Зайдите в свою карту сайта и посмотрите какие папки или директории там есть

и какие из них запрещены в файле robots.txt

.htaccess это инструкция для вашего сервера Апач и к роботам поисковых систем отношения не имеет.(хотя вашего файла хватило бы на три джомласайта)

Google: в каких случаях Главные поисковые системы объединяются Топвизор запустил инструмент для
AR
На сайте с 01.04.2012
Offline
78
And-rey
#8

Что удивительно(ну этт для меня), в той самой карте сайте содержаться 22 ссылки, ведущие:

- на главное меню сайта (6 страниц - главная, о компании, обратная связь и так далее);

- на боковое меню (остальные страницы - направления по районам от А до Я);

Все ссылки в карте выглядят как ЧПУ, с алиасами... никаких /index.php?option=com_jea&Itemid=171&id=1456а

А вот судя по рекомендациям тех, кто двигается на Joomla, как раз такой robots.txt и необходим... у всех подобное содержание. Мне получается нужно открыть Disallow: /components/ и Disallow: /media/ - как раз там и генерирует страницы с объявлениями компонент JEA!!!? Так тогда полезет в индекс поисковиков куча дублей.

Вообще чего-то запутался, а как формирует Joomla видимые для человека и робота страницы сайта. Вот их сейчас более 1000, а где они сами на сервере, как получается, что робот помимо одной страницы с объявлением умудряется увидеть еще такие же 4, ведущее на одно и тоже, но с различными комбинациями в URL : Itemid=...&id=... и этот еще lang=ru? во всех вариациях... Запутался, вижу гавно редкое эта джумла, но что поделаешь, малобюджетный вариант тот сайт, над которым работаю, точнее переделываю то что было у людей: в индексе 2 года сплошное generator="Joomla1.5!....." и около 2000 тыс дублей страниц без мета-тэгов и h1,h2... "стронгов"

Яндекс.Вебмастер О чем нужно помнить Сайт на Joomla глазами
Gennadi
На сайте с 18.12.2012
Offline
138
Gennadi
#9

Зайдите сюда там описана настройка модуля 404 http://www.homichenko.ru/nastrojka-rasshirenij-joomla/41-nachalynaya-nastrojka-sh404sef

У вас джомла 1,5 переходите на 2,5 80% ваших проблем отпадет

Можно также почитать статейку /ru/news/13749

AR
На сайте с 01.04.2012
Offline
78
And-rey
#10

Gennadi Благодарю за понимание! Да уж, джумла лидер среди CMS которые плодят дубликаты. Вот года 3-4 назад видать этот движок просто супер был: закидывал в поисковики кучи ссылок на одну и ту же страницу сайта, тем самым повышая его цитируемость и вообще наличие в выдаче под любой вариант соответствующего тематического запроса. На сегодня всё обстоит иначе: не дай бог в индексе будет с www и без него, что уже говорить за остальное

Что касается сайта, который переделываю, то, да - переставил движок на 2.5.8, компонент по недвижимости оставил JEA, установил sh404SEF, компонент Xmap.... и вот его как раз и буду сносить, не нравится он гуглу. Лучше самому создать sitemaps.xml и скормить его поисковикам. С robots.txt пока неясности, открою Disallow: /images/ - может туда не пробраться роботу, хотя всё одно не въеду в это сообщение:

Сведения об ошибках: ошибок: 0, предупреждений: 22.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
Количество проблем - 22

=))) сомневаюсь, что это сигнал о недоступности к /images/... В карте сайта как раз 22 ссылки. Но попутный вопрос, а почему компонент Xmap не сделал ссылки в карту сайта на страницы с объявлениями? Ведь их 250 штук...

Потом смотрю сейчас запросом в поисковой строке гугла "site:mysite.ru" и вижу - Результатов: примерно 917 (0,08 сек.) То есть все дубли таки влетели в индекс гугла =)) Ведь визуально контролируемых мною страниц сайта 272... Это 250объяв+22страниц с меню :-(

Подружи Joomla! с SEO SEO: почему мы делаем Яндекс дал практические рекомендации
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий