Arty.M

Рейтинг
57
Регистрация
04.11.2003

donRumata, если Вы так волнуетесь по данному поводу, то файл .htaccess и несколько строчек в нем превратят "динамику" со знаками вопроса и расширением php в URL без знаков вопроса и расширением html

Вынужден извиниться перед теми, кого ввел в заблуждение в этом посте

/ru/forum/comment/1680164

инструкция

Disallow: /ya

относится к yandsearch и к yandpage

Wolf, Сергей, в особенности перед Вами.

Помнится, они в свое время там были явно прописаны... может из-за этого и не заметил.

wolf:
Таки получается, что таки есть такой юзер-агент, которому официально разрешено не соблюдать robots.txt?

например Mozilla/5.0

wolf:
не соблюдать robots.txt

robots.txt Яндекса


User-agent: *
Disallow: /?
Disallow: /404.html
Disallow: /about.html
Disallow: /advanced_engl.html
Disallow: /advertising
Disallow: /articles
Disallow: /chisla.html
Disallow: /cgi-bin/
Disallow: /cgi/
Disallow: /cy
Disallow: /dzen.html
Disallow: /i/
Disallow: /ie3/yandsearch
Disallow: /keyboard_qwerty.html
Disallow: /logotypes
Disallow: /norobot
Disallow: /polling
Disallow: /redir
Disallow: /regions.html?
Disallow: /s/
Disallow: /setup
Disallow: /skazki
Disallow: /subscribe/confirm.pl
Disallow: /subscribe/view.pl
Disallow: /yaca
Disallow: /ya
Host: www.yandex.ru

я не вижу запрета ни для yandsearch, ни для yandpage...

а то, что они придумали с "/?" не вижу в RFC ;)

wolf:
Можно на халяву выдачу забирать, и тебе за это ничего не будет.

а вот этого я не говорил

Arty.M:
запросы не учитываются в статистике

"почувствуйте разницу" (с)

Вообще за что купил, за то и продаю. Отсебятины нет.

gray в кулуарах сказал, что если в логах юзер-агент семонитора или PagePromoter'а, то запросы не учитываются в статистике.


#!/bin/sh
i=1
url="http://my_script_path?cs=1&part="
while [ $i -lt 6 ]
do
/usr/local/bin/wget -t 1 -S -O log.log "$url$i"
let "i += 1"
done

Выведу в топ3 тетрадки запросы: пластиковые окна, шкафы-купе, реклама (любого направления). :)

Jackyk, я в своих суждениях исхожу из стандартов на этот файл. Другой вопрос, что их пора уже менять.

Оленька, робот не будет индексировать страницы вида www.site.ru/?param=1, а вида www.site.ru/index.php?param=1 - будет

Всего: 514