Форум Поисковые системы Google

robots.txt

1 234
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#21
TyT:
как прописать главную страницу в роботсе ?

О чём речь? Запретить? Разрешить?

TyT
На сайте с 03.09.2007
Offline
47
TyT
#22

Разрешить

Allow: main page )

При заходе юзверя выдается 2ув страница геопринадлежности вместо главной. Пример: domain.com/rus

domain.com/ita

При этом хочется оставить к индексации и саму главную без георедиректа domain.com

Юридические услуги в Днепропетровске (http://www.zakon.dp.ua)
Z-Style
На сайте с 18.03.2010
Offline
185
Z-Style
#23
kimberlit:
От конкретных условий всё зависит. Что вы глупости с порядком придумываете.

А что, есть разница в порядке?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#24
Z-Style:
А что, есть разница в порядке?

Есть как бы...

PavelWershinin
На сайте с 23.10.2010
Offline
9
PavelWershinin
#25
nwaker:
Подскажите как правильно составить файл robots.txt чтобы индексировалист страницы вида
от

script.php?a=1
...................
script.php?a=1000

и не индексировались

от
script.php?a=1001 и т.д.

Подобное, мне думается, правильней сделать в php. Например так:

В самый верх (Выше всего кода) файла script.php добавьте код 


<?php

if(intval($_GET['a']) <= 1000){

      $robots = '<meta name="robots" content="index, follow" />';

}else{

      $robots = '<meta name="robots" content="noindex, nofollow" />';

}

?>

После в html код, между тегами <head>...</head> Вставить 

<?php echo $robots?>

Думаю так будет намного удобней и правильней, чем robots.txt горомоздить тысячами строк

XR.CMS - система управления сайтами (https://xr-cms.ru)
S
На сайте с 28.10.2005
Offline
319
semenov
#26
nwaker:
Где написано что больше 35К robots.txt игнорируется?

http://help.yandex.ru/webmaster/?id=996567#996575

Z-Style
На сайте с 18.03.2010
Offline
185
Z-Style
#27
semenov:
http://help.yandex.ru/webmaster/?id=996567#996575

Весомый аргумент.

Z-Style добавил 18.11.2010 в 15:04

kimberlit:
Есть как бы...

Можно по-конкретней?

name-k
На сайте с 05.02.2010
Offline
57
name-k
#28
Подскажите как правильно составить файл robots.txt чтобы индексировалист страницы вида
от

script.php?a=1
...................
script.php?a=1000

и не индексировались

от
script.php?a=1001 и т.д.

А так ведь можно?!

Allow: /script.php?a=1000$

Allow: /script.php?a=100$

Disallow: /script.php?a=100*

А вообще на всех страницах которые не нужно индексировать(например script.php?a=1001 и т.д.) поставьте мета-тег

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Куплю украинские аккаунты AdSense. Стучитесь в ЛС.
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#29
Z-Style:
Можно по-конкретней?

Если урл попадает под две директивы, то какая будет рабочей?

name-k:
А так ведь можно?!

Allow: /script.php?a=1000$
Allow: /script.php?a=100$
Disallow: /script.php?a=100*

Запрещены 1001, 1002, 100500.... А 1245, 1553, 255555 кто будет запрещать?

Allow разрешает только 1000 и 100 (т.е. две страницы).

Что за бред?

Яндекс внес изменения в Новые стандарты для директивы Реклама Google будет показана
B
На сайте с 07.02.2005
Offline
161
bober
#30

semenov, Вы сослались на мануал Яндекса, а здесь о Гугле.

Насчет знака $ - в мануале Гугла говорится, что он применется для обозначения урла, оканчивающегося на что-то. Например, оканчивающегося на вопр знак:

Это вроде как не значит, что он разрешает все, содержаещее этот символ. В мануале пример

User-agent: *

Allow: /*?$

Disallow: /*?

запрещает все, содержащее ?, но разрешает урлы, оканчивающиеся на ?.

Если ТС имел в виду, что урлы, которые он хочет разрешить, оканчиваются на 1000, 2000 и т.д. - то $ на конце будет работать. Если не оканчиваются - вроде как не будет.

возможно ли продвинуть сайт роботс и пс Правильно ли составлен роботс.txt
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий