Aveter

Рейтинг
77
Регистрация
13.02.2007
ipconfig:
Изменилась выдача, ждите обновление софта=))

Я не очень понял, причем здесь выдача?? Софт понятно - если яндекс поменял какие-то операторы, то софт без обновления конечно не будет работать.

Aveter добавил 04.06.2008 в 20:57

burunduk:
ipconfig, опередил

burunduk, а можно про ipconfig (не вообще, а в данном контексте) по подробнее? ))) Что вы имели ввиду.

lazyqwe, Написал вам в личку пару дней назад - ответа не получил. Отпишитесь как появитесь плиз.

Разместился у ТЗ. Всем доволен. Статья не тематическая, но ТЗ все равно принял, за что ему спасибо.

kimberlit, Включите мозг, и подумайте, что вы сказали: если кто-то чего-то где-то не видел, это не означает, что его там нет.

И поаккуратнее с выражениями.

Всем спасибо за помощь. Отдельное спасибо El_Gato и Hkey.

Удачи.

Уже хотел попрощаться и поблагодарить, как вдруг подумал:

ведь если сделать так, как вы предлагаете, т.е.

Allow: /index.php
Disallow: /dir1/
...................
Disallow: /dirN/
Disallow: /*.php

то другие ПС (кроме яши и гугла) могут не понимать allow и потому не будут индексировать весь сайт, включая index.php так ведь? Может тогда для универсальности все-таки лучше оставить поименное запрещение php-файлов?

И последнее ( я надеюсь :)) - php.ini и my.cnf- нужно индексировать?

Спасибо.

Psycho:
А стоит ли в принципе заморачиваться с функцией Allow?

Ну не знаю, мне кажется если она не мешает, то может направить робота к указанной папке (то есть облегчить/ускорить индексацию).

И еще тут вопросец возник в процессе написания:

есть несколько служебных файлов и папок - от сапы (типа ac05eva07egddecfaa7466c36fb1s67a), от goоgle analytics (типа google140ca4746d9ag003.html) и yahndex-webmasters (типа yandex_7bdfegs787bdg4a298.txt). Вот с ними я не знаю как быть - нужно ли оставлять их открытыми для индексации? Они тем же роботом проверяются, что и индексируется сайт, или же это совершенно независимые роботы? Подскажите плиз.

Aveter добавил 26.05.2008 в 21:29

Фух, написал (замучился :))- 155 строк получился, 4 Кб - не слишком много?

Чтоб не получилось как здесь Яша предупреждает:

При написании robots.txt необходимо помнить, что в роботе есть разумное ограничение на его размер. Слишком большие robots.txt считаются полностью запрещающими, то есть рассматриваются аналогично:
User-agent: Yandex
Disallow: /

Вообще, разумно было конечно написать для всех php файлов одну строчку типа:

запрещаю все php кроме index.php - это можно как-то сделать или только по одному надо перечислять?

El_Gato:
Абсолютно верно...

У меня примерно такая схема работает

Но послле всего этого кропотливого труда не поленитесь проверить в http://webmaster.yandex.ru/, ну или аналогичных сервисах, дабы избежать неприятных сюрпризов.

Ну вроде все понял, так и сделаю.

Спасибо огромное за помощь. :)

Удачи.

Aveter добавил 26.05.2008 в 20:03

Hkey:
в "User-Agent: *" ее крайне не рекомендую указывать поскольку она далеко не всеми роботами воспринимается.

Ну то что не всеми воспринимается - это бог с ним, не сработает так не сработает, лишь она не помешала.

El_Gato, ну то есть я понял так - пишу роботс.тхт следующим образом:

User-Agent: Yandex
Disallow: /folder1/
Disallow: /folder2/
.......................
Disallow: /folderN/
Disallow: /file1.php
Disallow: /file2.php
........................
Disallow: /fileN.php
Allow: /index.php
Allow: /word1/*
Allow: /word1/*
....................
Allow: /wordN/*

User-Agent: *
и далее все те же строки, что и после User-Agent: Yandex

где folder1...fiolderN - все папки в public_html, file1...fileN - все php файлы (кроме index.php) в public_html, а word1...wordN - все динамические папки создаваемые по кликам на ссылки с главной страницы сайта. Правильно?

El_Gato, Hkey, спасибо за пояснения.

1. Из всего выше сказанного, я делаю вывод, что мне достаточно в роботс.тхт написать:

Allow: /index.php, а все осатльное в public_html можно смело запрещать. Зайдя по www.mysite.ru/index.php робот увидит главную страницу, с которой ссылки через меню сайта ведут на все категории, подкатегории и страницы со статьями и проиндексируют все, что надо. Верно?

2. Allow: /index.php* - я думаю писать бессмысленно, т.к. все равно у меня нет динамических страниц типа mysite.ru/index.php?param1=dsfds&param2=3, а они подменяются статическими вида http://www.mysite.ru/word/n1/n2/n3/, верно?

3. Можно в принципе еще написать Allow: /word/, где word это все динамические папки, где находятся страницы со статьями (т.е. page, cat, articles, info), чтобы робот точно знал где стоит искать статьи для индексации. Улучшит ли это индексацию, или Allow: /index.php вполне достаточно?

Спасибо.

Hkey, спасибо за ссылку.

Hkey:
Но учите, что алоу это расширение синтаксисиса и часть роботов не будет ее понимать. Яша ее понимает.

А как насчет Гугла и Яху - они понимают allow? Если нет, как им сказать "разрешаю индексировать папку folder1 и все что ниже по уровню (вложено)"?

Всего: 504