Ошибка 404, карты сайта и роботс??

M
На сайте с 11.04.2012
Offline
21
2188

Перезалили сайт на другую цмс (и дизайн тож сменили), вот возникли проблемы, просветите пожалуйста:

1) что это может быть, проверял карту сайта через этот сайт и вот, выдало Low-level XML well-formedness and/or validity processing output

Error: can't retrieve "http://pristavki.ua/sitemap.xml": 403 Forbidden

Вот полный текст http://www.xml-sitemaps.com/index.php?op=validate-xml-sitemap&go=1&sitemapurl=http%3A%2F%2Fpristavki.ua%2Fsitemap.xml&submit=Validate

2) также роботс с ошибкой, проверял яндексом http://webmaster.yandex.ua/robots.xml#results (сайт pristavki.ua), пишет:

1: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

Обнаружена неизвестная директива

2: <html xmlns="http://www.w3.org/1999/xhtml">

Обнаружена неизвестная директива

6: var xhr = window.XMLHttpRequest ? new XMLHttpRequest() : new ActiveXObject('Microsoft.XMLHTTP');

Обнаружена неизвестная директива

3) Обработка статуса 404, что это?:

http://pristavki.ua/ksdnkfjnjfgkdfjngkdnkvvhbd.htmlFailed

Garin33
На сайте с 31.08.2009
Offline
169
#1

Вот какие мысли.

1. карта сайта у вас не по адресу http://pristavki.ua/sitemap.xml, а по http://www.pristavki.ua/sitemap.xml

2. проблема или в неправильно настроенном сервере или в каких-то его настройках (например антиддос), по вине которых сайт http://www.xml-sitemaps.com не получает страницу, а лишь ошибку 403.

Попробовал проверить некоторые страницы сайта на разных сервисах, к единому выводу не пришел - где-то на все страницы 403 ошибка, где-то 200 (даже если такой страницы нет).

А вообще нет смысла за друпалом проверять карту, он лажу не гонит. Если карту сайта модулем генерите, то она всегда отлично работает (опробовано на десятках сайтов).

Потому что Drupal - это круто.
M
На сайте с 11.04.2012
Offline
21
#2
Garin33:
Вот какие мысли.
1. карта сайта у вас не по адресу http://pristavki.ua/sitemap.xml, а по http://www.pristavki.ua/sitemap.xml

а как можно проверить настройки адреса и если что его поменять на правильный?

Garin33
На сайте с 31.08.2009
Offline
169
#3
Marriarty:
а как можно проверить настройки адреса и если что его поменять на правильный?

Я не говорю что адрес не правильный. У вас сайт настроен на работу "по www", значит и ссылки всем сервисам надо давать именно с www. Редирект на www прописан скорее всего в htaccess.

Но проблема даже не в этом, а в том, что отдается 403 ошибка. Вот с этим нужно разбираться.

M
На сайте с 11.04.2012
Offline
21
#4
Garin33:
Я не говорю что адрес не правильный. У вас сайт настроен на работу "по www", значит и ссылки всем сервисам надо давать именно с www. Редирект на www прописан скорее всего в htaccess.

Но проблема даже не в этом, а в том, что отдается 403 ошибка. Вот с этим нужно разбираться.

а что это за ошибка 403 (я прочитал, типа доступ запрещен), но по конкретней для случая с картой, как она влияет? моя карта индексируется, рабочая для поисковика?

вроде как без проблем написав путь http://www.pristavki.ua/sitemap.xml , карта открывается и никакой ошибки не пишет. А тот сервис пишет, вот хочу разобраться, как это влияет на сео и на саму карту?

Garin33
На сайте с 31.08.2009
Offline
169
#5

Если она отдает 403, то разумеется она не индексируется. Добавьте сайт в панели гуга и яндекса, там можно загружать карты сайта. Если с этим будут проблемы, то панели сообщат.

Кстати каким модулем карты генерируете? Стандартный модуль xml sitemap подписывает внизу страницы "Generated by the Drupal XML sitemap module.". У вас же этого не вижу. Вносили изменения в модуль?

M
На сайте с 11.04.2012
Offline
21
#6
Garin33:
Если она отдает 403, то разумеется она не индексируется. Добавьте сайт в панели гуга и яндекса, там можно загружать карты сайта. Если с этим будут проблемы, то панели сообщат.

Кстати каким модулем карты генерируете? Стандартный модуль xml sitemap подписывает внизу страницы "Generated by the Drupal XML sitemap module.". У вас же этого не вижу. Вносили изменения в модуль?

я без понятия, это программист сделал. Он будет через неделю. Сайт добавлен в гугл аналитикс и метрику, Вы эти "панели" имеете ввиду?

Garin33
На сайте с 31.08.2009
Offline
169
#7
M
На сайте с 11.04.2012
Offline
21
#8

я сам это понял)) и вот что там написано

http://clip2net.com/s/1SDl8 -----> http://clip2net.com/s/1SDlA

собственно пишет, что большинство проиндексировало, только 11 штук не хочет. Значит карта сайта работает?

А вот другой вопрос http://clip2net.com/clip/m0/1336125761-clip-34kb.png . Эти странички мне не нужны, так как это со старого сайта, вот не понятно, почему он их сканирует, ведь они не нужны, я скормил новую карту где их нет. Что делать, это плохо или как?

3) Как указать всем поисковикам, что основной домен это pristavki.ua, а зеркало www.pristavki.ua

В яндексе это сделал, а как сразу для всех?

Garin33
На сайте с 31.08.2009
Offline
169
#9

1. значит да

2. он сканирует, так как когда-то на этих страницах был какой-то контент (старый сайт). Ничего плохого в этом нет, боты частенько будут долбиться на эти страницы, через сколько то времени (месяц, пол года, год) поймут что страницы окончательно удалены, и беспокоить не будут. В панели гугла есть возможность удалить из поиска и кеша страницы. Можно этим воспользоваться.

3. У вас основной домен именно с WWW сейчас. Что нужно сделать - прописать в роботсе директиву host , это для яндекса. Плюс в панелях можно указать по какому адресу сайт основной. И главное - изменить параметры в htaccess (я вчера писал об этом выше), чтобы переадресация шла на домен без www.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий