robots.txt

N

67

nwaker

16 ноября 2010, 13:14

1700

Подскажите как правильно составить файл robots.txt чтобы индексировалист страницы вида

от

script.php?a=1

...................

script.php?a=1000

и не индексировались

от

script.php?a=1001 и т.д.

Узнайте все нюансы о поиске работы в Москве (http://rabota-dlja-vseh.ru) и проблемах трудоустройства

185

Z-Style

16 ноября 2010, 15:38

#1

Разве что так:

Disallow: /script.php?a

Allow: /script.php?a=1/

Allow: /script.php?a=2/

Allow: /script.php?a=3/

Allow: /script.php?a=4/

...

Allow: /script.php?a=1000/

N

67

nwaker

16 ноября 2010, 15:43

#2

Каждую строчку писать до 1000 ?

S

319

semenov

16 ноября 2010, 15:51

#3

Z-Style, жжошь

E2

138

exe2

16 ноября 2010, 16:35

#4

nwaker, напиши скрипт что бы сгенерировал такие строки, потом скопируете и в роботс вставите. ну это если лень писать каждую строчку самому

И думаете это кто-то остановит? Да ну нафиг! Кто позволит перекрыть такой серьезный трафик??

B

161

bober

16 ноября 2010, 16:59

#5

Z-Style, вот зачем писать, если не знаете, и вводить в заблуждение? Стремление поднять ножку у каждого столба?

nwaker, ИМХО в соответствии с мануалом Google так:

Disallow: /*1001

Disallow: /*1002

...........

Disallow: /*1009

Disallow: /*101

Disallow: /*102

и так все, сколько их у Вас есть.

Google о крупных файлах Новые стандарты для директивы Chrome 71 будет блокировать

370

kimberlit

16 ноября 2010, 17:04

#6

bober:
Disallow: /*101
Disallow: /*102

101 и 102 должны индексироваться по условию.

B

161

bober

16 ноября 2010, 17:13

#7

kimberlit:
101 и 102 должны индексироваться по условию.

Почему? Это означает: "любой URL который начинается с имени домена, продолжается каким-то набором символов, продолжается указанными символами после астериска, продолжается каким-то набором символов".

Т.е.

Disallow: /*102 запрещает все, содержащее 102 - 1020, 1022 и т.д.

А по условию ТС не индексироваться должны 1001 и далее.

Блин прочитал еще раз и понял что неправ, kimberlit, Вы правы.

Ну тогда значит

Disallow: /*1020

Disallow: /*1021

и т.д

Составление файла robots.txt Эксперименты с объявлениями AdWords Смешанные директивы: как Google

370

kimberlit

16 ноября 2010, 17:16

#8

bober:
Почему? Это означает: "любой URL который начинается с имени домена, продолжается каким-то набором символов, продолжается указанными символами после астериска, продолжается каким-то набором символов".
Т.е.
Disallow: /*102 запрещает все, содержащее 102 - 1020, 1022 и т.д.

Так и я про то. ТС дал условие: 1 - 1000 индексируются. 101 и 102 вроде туда входят или нет?

98

Agressive_Pig

16 ноября 2010, 17:28

#9

Тупняк конечно жесткий, но видимо только так:

<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251">

</head>



<body>



User-Agent: Yandex <br />

<? 

for ($i = 1; $i < 1001; $i++) {

	echo 'Allow: /*script.php?a='.$i.'<br />';

}

?>

Disallow: /*script.php?a=<br />

Host: www.YourSite.ru<br /><br />





User-Agent: Googlebot <br />

<? 

for ($i = 1; $i < 1001; $i++) {

	echo 'Allow: /*script.php?a='.$i.'<br />';

}

?>

Disallow: /*script.php?a=<br />







</body>

</html>

Это в файл с расширением php и запустить в броузере.

S

319

semenov

16 ноября 2010, 17:51

#10

> Слишком большие robots.txt (более 32 Кб) считаются полностью разрешающими

Agressive_Pig, уложитесь? ;)

Зачем быть уникальным в мире, где все можно скопировать

Google: E-E-A-T не является фактором ранжирования