Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Доступ к URL заблокирован в файле robots.txt

KV
На сайте с 16.09.2015
Offline
14
KotVasilii
2284

Здравствуйте!

Смотрю страницы через GoogleBot всё нормально, частично отображает. Там запрещены только внешние скрипты.

Через Яндекс проверяю в роботс ссылки, всё окей. Так же и в гугле проверял в разделе Роботс ссылки, тоже всё доступно...

Ситимап уже несколько раз удалял и загружал и всё так же, все страницы запрещены. Роботс я брал с основного проекта, тот проект работает уже около года и всё отлично.

Не пойму, с чего на новом сайте Гугл мозги делает...

Роботс: 

User-agent: *

Disallow: /engine/



User-agent: Googlebot

Disallow: /engine/

Allow: /engine/*/*/index.php

Allow: /engine/*.js

Allow: /templates/*.js

Allow: /templates/*.css



User-agent: Googlebot-Image

Allow: /uploads/*.jpg

Allow: /uploads/*.png



User-agent: YandexBot

Disallow: /engine/

Host: site.ru



Sitemap: http://site.ru/sitemap.xml

Может глюк у гугла????

Алеандр
На сайте с 08.12.2010
Offline
207
Алеандр
#1
KotVasilii:

User-agent: Googlebot
Disallow: /engine/
Allow: /engine/*/*/index.php
Allow: /engine/*.js
Allow: /templates/*.js
Allow: /templates/*.css

На сколько мне помнится, то ПС берут первую строку для определенного урл. Почему у вас Disallow и Allow в обратном порядке? Allow не будет так работать, ибо глобально /engine/ уже запретили.

В остальном - не видя ресурса, и что именно он говорит, что запрещено - подсказывать сложно.

К какому именно "URL заблокирован в файле robots.txt" ?

robots.txt Как убрать с индекса Переводной контент
KV
На сайте с 16.09.2015
Offline
14
KotVasilii
#2

Ну на основном домене более года стоят настройки и всё шикарно!!

На новом домене, этот домен был запрещен для индексации 3 месяца, мб поэтому осадок остался... подожду 2 дня.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий