eis: викушка, После того как Google выдаст количество проиндексированных страниц, попробуйте пройтись по навигации в Google. После перехода на 4-ю страницу выдачи, страниц в индексе становится 24 ;)
викушка: Здравствуйте!
Не могу разобраться с индексацией. Яндекс индексирует все нормально: в индексе 24 страницы, как раз все, которые есть на сайте. А количество страниц в Гугл постоянно меняется: сегодня утром было 118 (даже не представляю, где он их нашел), сейчас их 59, но такого количества страниц нет на сайте.
Заранее спасибо за помощь!
Это я в какой-то статье прочитала, чтобы яндекс не индексировал сайт с www.
А почему гугл вообще индексировал mod_simpleform2, ведь написано Disallow: /modules/
Это ерунда, не верь. И удали.
cheredov добавил 10.08.2011 в 00:12
А почему гугл вообще индексировал mod_simpleform2, ведь написано Disallow: /modules/
Потому правило
Disallow: /modules/
не подходит для урла типа
http://stand-in-beauty.ru/modules/mod_simpleform2/engine.php?task=captcha&moduleID=40&rand=27521&rand=
cheredov добавил 10.08.2011 в 00:13
Хотя... подходит... еще может потому, что robots.txt носит рекомендательный характер.
А все равно, в какое место ставить?
Вот мой роботс:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Disallow:
Host: stand-in-beauty.ru
ставь последним Disallow
cheredov добавил 10.08.2011 в 00:06
User-agent: Yandex
Disallow:
А это зачем?
Может кто-то знает, как их запретить к индексации?
В robots.txt
Disallow: /*/mod_simpleform2/*
викушка, После того как Google выдаст количество проиндексированных страниц, попробуйте пройтись по навигации в Google. После перехода на 4-ю страницу выдачи, страниц в индексе становится 24 ;)
Точно, это не дубли. Это страницы типа http://www.google.ru/url?sa=t&source=web&cd=103&ved=0CB0QFjACOGQ&url=http%3A%2F%2Fstand-in-beauty.ru%2Fmodules%2Fmod_simpleform2%2Fengine.php%3Ftask%3Dcaptcha%26moduleID%3D40%26rand%3D31846%26rand%3D&ei=849BTo_iNsfRsgaD4LzjBw&usg=AFQjCNFePtymerMgcTHLAYbJ6hcofWefHA&sig2=SOAm4tt7p5lwJXZtk2gwJA
cheredov добавил 09.08.2011 в 23:56
Их по хорошему запретить к индексации, чтобы вам не путаться
cheredov добавил 09.08.2011 в 23:58
После перехода на 4-ю страницу выдачи
Кстати такие страницы и на 3-ей есть и их ровно 6 ;)
И еще раз про 301 редирект.
Про писал в .htaccess вот это Redirect 301 / http://newsite.ru/
Перетечет ли ТИЦ и PR новому домену или еще что то надо вписать?
Прошу не посылать меня в подобные темы. Мне хотелось бы получит ответ на мой вопрос.
Обычно перетекает. Пропишите еще host в robots.txt сначала.
Да, поддомены вещь интересно опасная. Был сайт хороший, были поддомены, на одном из поддоменов торговал в сапе. Все покосило АГСом.
очень увлекательно.
Вопрос возник, существует ли возможность отдетектить прокси / анонимайзер и послать такого человека на все 404. на своем сервере ?
если да, то куда копать? )
Это само по себе чушь, уж извините.
cheredov добавил 09.08.2011 в 23:42
Вы знаете что такое прокси?
Здравствуйте!
Не могу разобраться с индексацией. Яндекс индексирует все нормально: в индексе 24 страницы, как раз все, которые есть на сайте. А количество страниц в Гугл постоянно меняется: сегодня утром было 118 (даже не представляю, где он их нашел), сейчас их 59, но такого количества страниц нет на сайте.
Заранее спасибо за помощь!
Сайт http://stand-in-beauty.ru/
Это дубли страниц. они сами отвалятся через некоторое время.
+1 поставила молодец, я плюснул
Можно запретить цифры например
cheredov добавил 09.08.2011 в 21:18
Глупость последовательности *$ нужно объяснять?
не нужно, что задали в условии то и написал )))
cheredov добавил 09.08.2011 в 21:19
строка заканчивается чем угодно - офигенное правило я написал конечно, но что ТС надо то?
необходимо лишь закрыть (или же средиректить) страницы категорий типа /20* и /20*/*
Вы понимаете, что * - это любая последовательность символов. Вам что надо то?