Задавайте вопросы про Drupal - 2

Ребята, помогите, пожалуйста. Что-то не получается настроить роботс. ВМТ и ЯВМ упорно твердят, что сайт закрыт от индексации.

Роботс вот такой:

#

# robots.txt

#

# This file is to prevent the crawling and indexing of certain parts

# of your site by web crawlers and spiders run by sites like Yahoo!

# and Google. By telling these "robots" where not to go on your site,

# you save bandwidth and server resources.

#

# This file will be ignored unless it is at the root of your host:

# Used:    http://example.com/robots.txt

# Ignored: http://example.com/site/robots.txt

#

# For more information about the robots.txt standard, see:

# http://www.robotstxt.org/wc/robots.html

#

# For syntax checking, see:

# http://www.sxw.org.uk/computing/robots/check.html



User-agent: *

Crawl-delay: 10

# Directories

Disallow: /includes

Disallow: /misc

Disallow: /modules

Disallow: /profiles

Disallow: /scripts

Disallow: /themes

# Files

Disallow: /CHANGELOG.txt

Disallow: /cron.php

Disallow: /INSTALL.mysql.txt

Disallow: /INSTALL.pgsql.txt

Disallow: /INSTALL.sqlite.txt

Disallow: /install.php

Disallow: /INSTALL.txt

Disallow: /LICENSE.txt

Disallow: /MAINTAINERS.txt

Disallow: /update.php

Disallow: /UPGRADE.txt

Disallow: /xmlrpc.php

# Paths (clean URLs)

Disallow: /admin

Disallow: /comment/reply

Disallow: /filter/tips

Disallow: /node/add

Disallow: /search

Disallow: /user/register

Disallow: /user/password

Disallow: /user/login

Disallow: /user/logout

# Paths (no clean URLs)

Disallow: /?q=admin

Disallow: /?q=comment/reply

Disallow: /?q=filter/tips

Disallow: /?q=node/add

Disallow: /?q=search

Disallow: /?q=user/password

Disallow: /?q=user/register

Disallow: /?q=user/login

Disallow: /?q=user/logout



host: dalnoboyka.ru

Sitemap: http://dalnoboyka.ru/sitemap.xml

В роботсе вроде бы всё нормально. Проверьте так же метатеги.

big boy, спасибо за ответ. А можно по-подробней, что в метатегах может быть не так? Куда обратить внимание?

Что-то такое:

Garin33, ничего подобного не обнаружила. Еще одна странность заключается в том, что яндекс хоть и пишет, что сайт в роботсе закрыт, а тем не менее проиндексировал, хотя главную выкинул:

А у гугла вот что:

Ubercart не дружит с Яндексом?

Сделали магазин с 10000 товаров ( и будет много больше). В выдачу попало 100 страниц, и уже четвертый месяц Яндекс тупит - не добавляет остальные в выдачу, сколько ни писали в поддержку.

Ааааа. Что делать?!!!

CMS никак не влияет на индексацию, не важно что там уберкарт, джумла или битрикс. Если проблемы с контентом - то он не попадет в индекс, и решать нужно это.

В расчет не беру такие оплошности, типа закрытия от индексации/дубли/осутствия ссылок на эти страницы.

D6, есть вьюшка, отображающая пользовательские вопросы.

Адреса формируются таким образом: .../question/zagolovok-12345

Если удалить вопрос или перейти на несуществующий адрес, то показывает "Страница не найдена" - стандартную ошибку.

Решил проверить ответ сервера, а он мне вместо 404 выдёт 403 Forbidden!

Как исправить?

В настройках вьюшки стоит:

---------- Добавлено 03.06.2014 в 14:55 ----------

И есть ли проблема в том, что пс видит не 404, а 403?

tkulbaco, у вас на главной странице получился неудачный "первый монитор" - большой и почти пустой верхний баннер + большая картинка на всё оставшееся место. В "первый монитор" не попал блок "навигация" и совсем не попал текст. Возможно причина именно в этом.

Lanfen, благодарю за ответ. Пока неочень, соглашусь. Но там все поменяется, как только муж из рейса приедет, хочу просто с ним посоветоваться, все же блог вместе ведем. Вместо большой фотографии, возможно, будут выводиться вот такой мойзаикой фото из неприкрепленного пока инстаграмма, справа повешу баннер на наших знакомых. Вот про навигацию... Ну не знаю, встречала сайты с подобным расположением, вроде было понятно и удобно.

И все же, неужели неудачность первого экрана может влиять на выдачу ошибок в роботсе?

Кстати, не смотря, на предупреждения из явм и вмт, сайт проиндексировался обоими поисковиками, и чуточку трафика из них уже есть.