AiK

AiK
Рейтинг
257
Регистрация
27.10.2000
Должность
SEO consultant
Интересы
Astronomy

Sir[MAI], в таком случае прямая дорога в саппорт. Яндекса и Мелкомягких :D

Смена только url не приводит к переиндексации во многих поисковиках.

Проверено на опыте :)

PHP проще

Это смело сказано :). Если платформа разработки и целевая платформа идентичны, то можно согласится. С трудом :). Однако я подозреваю, что разрабатываться всё будет на win32, а выполнятся под *nix.

"Очень много геморроя принесёт оно с собою" :)

Думаю идеальный вариант - найти готовое решение.

История получила продолжение. Пока что с минимумом комментариев.

В конце декабря добавил в очередь один из "вкусных" разделов сайта.

3 января были обнаружены переходы на сайт с yacatalog.narod.ru.

Одна из url содержала в названии _add из чего я заключил, что наш сайт добавили в каталог. И действительно, 8 января сайт был обнаружен в каталоге - это был как раз первый апдейт после захода.

Описание более менее терпимое, за тем исключением, что раздел, который был добавлен из описания напрочь изчез. Будем надеяться, что через год и он попадёт в каталог :) С категорией не угадал, видимо всё же ID не совпадают.

Сегодня заметил обновление в баре - 160 против 30. Не плохо :).

Категория пока правда не обновилась, да и в каталоге тВИЦ ещё не обновился. Возможно кэш.

Есть кое-какие соображения по поводу изменения траффика с Яндекса, но об этом в феврале - после того как лог с сервера заберу.

AiK, lwp-trivial - это Вы о чем?

C glagol.yandex.ru ходит за robots.txt зверь с упомянутым названием.

Подсказать откуда взялось это название? :)

melkov, iseg, вы бы роботу имя присвоили, а то

lwp-trivial как-то не солидно :)

А есть ли ограничения в сети на такие ограничения?

Хорошая фраза :)

Теоретически длина URL ограничивается возможностями OS, на которой установлен веб-сервер. Практически - программисты любят экономить на размерах переменных. Думаю, что 512 переварят все, а вот с 1024 уже могут быть и проблемы.

Кстати, любопытный факт почти по теме: когда в Rambler'e можно было посмотреть их реализацию PR в цифрах, то я обратил внимание, что максимальный PR был равен точно 64К, т.е. 65535.

А нельзя ли поподробнее для чайников?

Не получится :) Я чищу логи ошибок в среднем раз в неделю. Иногда там проскакивают попытки обратится к несуществующим страницам. IP принадлежат роботам. Ссылки на эти несуществующие страницы могут водиться только в закрытой части (cgi-bin).

Либо есть ещё два равноневероятных варианта:

1) такими кривыми ссылками кто-то балуется извне.

2) робот конструирует ссылку самостоятельно, отсекая последовательно "лишние" на его взгляд символы.

Более вероятный вариант - робот протормозил, и пошёл по ссылкам, которые были в загашнике. Это было спустя примерно 1.5 месяца после закрытия раздела. Сейчас данная ситуация не воспроизводится. Так что 100% всё же утверждать на счёт злоумышленного нарушения не берусь :)

-Саша, то есть ты видел, что поисковики нарушают robots.txt?

Я видел :) Во-первых, robots.txt не оказывает мгнвенного воздействия.

Я и спустя два месяца после закрытия раздела получаю заходы от тормозных роботов. Это видно по 403 ошибке.

Во-вторых, кто-то из разработчиков на этом форуме выссказался в том смысле, что robots.txt можно трактовать как запрет индексации, но не обхода. Причём обходят явно не всё закрытое, а избирательно. Возможно при наличии "интересных" ссылок.

Всего: 3256