По мнению поисковиков сайт полностью закрыт от индексации

12
R
На сайте с 04.11.2015
Offline
5
806

Сайту 1,5 месяцев и три недели подряд в индексе гугла и яндекс только главная страница.

Главная страница в выдаче с таким текстом: "Описание веб-страницы недоступно из-за ограничений в файле robots.txt."

движок Opencart.

Помогите в чем проблема?

robots.txt:

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin/

Disallow: /download/

Disallow: /system/

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*#category_id=

Disallow: /index.php?route=product/search

Disallow: /search/

Disallow: /login/

Disallow: /posttovk/

Host: yapodarok.net

Sitemap: http://yapodarok.net/sitemap

Помогите в чем проблема?

S
На сайте с 14.03.2016
Offline
37
#1

Если не прав, пусть меня поправят, но на мой не опытный взгляд у вас не правильно создан сайтмап. Он должен находится тут http://yapodarok.net/sitemap.xml . Пример оформления

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

<url>

<loc>http://site.com/</loc>

</url>

</urlset>

Вообще в сети много информации о том как создать сайтмап

RT
На сайте с 02.07.2012
Offline
90
#2

У вас в этой строчке ошибка Disallow: /*#category_id=

Т.к. # в robots.txt - это комментарий. ПС видят это как Disallow: /

morzan123
На сайте с 26.11.2010
Offline
182
#3

Sowenak, вообще, карта сайта может находиться где угодно. Дефолтное название для удобства, оно как бы по умолчанию. Не редкость, когда у сайта много карт - для разделов разных, например.

Вики:

Можно предоставить несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 10 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы его размер не превышал 10 МБ, и тем самым уменьшить требования к пропускной способности канала.
Если необходимо перечислить более 50000 URL, следует создать несколько файлов Sitemap, при этом необходимо перечислить каждый из этих файлов в файле индекса Sitemap (Sitemap index). Формат файла индекса Sitemap похож на формат файла Sitemap.

Подробная информация об использовании файлов индекса Sitemap на официальном сайте: sitemaps.org.



---------- Добавлено 10.06.2016 в 12:05 ----------

Russian Traveller:
У вас в этой строчке ошибка Disallow: /*#category_id=
Т.к. # в robots.txt - это комментарий. ПС видят это как Disallow: /

Именно.☝

Оказываю консультации.
S
На сайте с 14.03.2016
Offline
37
#4
morzan123:
Sowenak, вообще, карта сайта может находиться где угодно. Дефолтное название для удобства, оно как бы по умолчанию. Не редкость, когда у сайта много карт - для разделов разных, например.

Спасибо за уточнение. Но разве она не должна быть в формате xml ?

DT
На сайте с 28.11.2006
Offline
298
#5
Спасибо за уточнение. Но разве она не должна быть в формате xml ?

По уму конечно должна. У ТС карта для юзеров сделана а не для ПС.

Дешевый CloudLinux хостинг (http://www.provisov.net) много площадок в России, Франции, Украине, Германии, Нидерландах, США, Канаде. SSL-сертификат (https://www.provisov.net/blog/2016/10/26/besplatnyj-ssl-sertifikat-dlya-vsex-vashix-sajtov/) бесплатный и предустановленный для всех доменов
S
На сайте с 14.03.2016
Offline
37
#6
dmitrii_trof:
По уму конечно должна. У ТС карта для юзеров сделана а не для ПС.

Но если реализована только такая карта, ПС не будут ругаться на отсутствие карты сайта?

Alexander22
На сайте с 05.09.2013
Offline
45
#7

Полезно узнать о Disallow: /*#category_id= в Роботсе. взял на заметку

vrodeden
На сайте с 12.03.2011
Offline
157
#8

а как в роботс вставить символ # ?

Экранировать аля яваскрипт \#

или как то иначе?

Видеочат Встречи.su (https://встречи.su) . Онлайн знакомства без регистрации.
R
На сайте с 04.11.2015
Offline
5
#9

всем спасибо!))

ex machina
На сайте с 08.06.2016
Offline
24
#10
vrodeden:
а как в роботс вставить символ # ?
Экранировать аля яваскрипт \#
или как то иначе?

А зачем в роботсе использовать "#"? Страница с "#" и без - одна и та же. Нельзя закрыть страницу, не закрыв якорь и наоборот (ну, если говорить про robots.txt только).

https://pingoblog.ru/ (https://pingoblog.ru/)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий