Помогите разобраться с robots.txt

П2
На сайте с 14.10.2007
Offline
122
746

Здравствуйте

Есть довольно молодой сайт. Гугл его проиндексировал, но вот есть одна проблема, которой я раньше не видел - в выдаче он пишет что некоторые страницы закрыты в файле robots.txt http://prntscr.com/7nv96t при этом аналогичные страницы проиндексированы нормально... вот сам роботс - http://www.kopeyka.info/robots.txt

В чем может быть проблема?

Спасибо

gostak
На сайте с 17.03.2014
Offline
62
#1

Это нормальное явление, такие страницы в нормальном поиске участвовать не будут.

oxg
На сайте с 08.08.2011
Offline
218
oxg
#2

зачем вам - Host: www.

Прокси IPv6 Россия (http://proxy-ipv6.ru/proxy_ipv6.html) /32 сеть, каждый IP в отдельной /48 сети Прокси IPv4 (http://proxyk.ru/proxy-russia.html) более 160 подсетей А,B,C Прокси для Инстаграм (http://proxy-ipv6.ru/instagram-proxy.html)
П2
На сайте с 14.10.2007
Offline
122
#3
gostak:
Это нормальное явление, такие страницы в нормальном поиске участвовать не будут.

но мне то как раз надо что бы они участвовали!

---------- Добавлено 02.07.2015 в 12:39 ----------

oxg:
зачем вам - Host: www.

если я не ошибаюсь это сигнал Яндексу, что бы он сайт индексировал с WWW.

А в чем тут проблема?

T
На сайте с 28.10.2005
Offline
182
#4

меня одного смущает?

Host: www.kopeyka.info

и далее

Sitemap: http://kopeyka.info/sitemap.xml

и вы хотите с www?

ЗЫ и вообще

Запрашиваемый веб-адрес не может быть предоставлен

Веб-адрес:

http://kopeyka.info/sitemap.xml

Заблокирован Веб-Антивирусом

Причина: опасный веб-адрес

П2
На сайте с 14.10.2007
Offline
122
#5
Tutor:
меня одного смущает?
Host: www.kopeyka.info

и далее

Sitemap: http://kopeyka.info/sitemap.xml

и вы хотите с www?

ЗЫ и вообще
Запрашиваемый веб-адрес не может быть предоставлен

Веб-адрес:

http://kopeyka.info/sitemap.xml

Заблокирован Веб-Антивирусом

Причина: опасный веб-адрес

Отвечаю по пунктам:

1. по сайтмэп вы правы - сейчас же исправим, но это не имеет отношения к тому что некоторые страницы не индексируются или имеет?

2. Заблокирован Веб-Антивирусом - купили домен 4 месяца назад - он был кем то брошен. И только когда начали делать сайт узнали что там висел фишинговый сайт. c этим мы сейчас боремся... Блокирует только Касперский. Уже месяц им пишем письма и они даже ответили что убрали нас из базы фишинговых сайтов, однако как видно не везде

N1
На сайте с 02.07.2015
Offline
0
#6
T
На сайте с 28.10.2005
Offline
182
#7
Павел2007:
Отвечаю по пунктам:
1. по сайтмэп вы правы - сейчас же исправим, но это не имеет отношения к тому что некоторые страницы не индексируются или имеет?

2. Заблокирован Веб-Антивирусом - купили домен 4 месяца назад - он был кем то брошен. И только когда начали делать сайт узнали что там висел фишинговый сайт. c этим мы сейчас боремся... Блокирует только Касперский. Уже месяц им пишем письма и они даже ответили что убрали нас из базы фишинговых сайтов, однако как видно не везде

ну тоже по пунктам

1 здаеться что имеет

2 да, каспер жалуется

Pirozhkoff
На сайте с 02.01.2011
Offline
52
#8

стертостерто

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий