Интеллектуальная ошибка 404

Ок, возьмём карту сайта, откудова анкоры брать?

file_get_content каждую страницу и титлы брать оттудова?

просто "возможно вы имели ввиду url" без анкора

Поднимите табличку "Сарказм" еще.

Гуглу будет пофиг абсолютно, если вы в xml добавите поле анкора - он его все равно не тронет.

В любом случае sitemap явно нужнее таблицы с ссылками и анкорами, поэтому логичней брать данные из xml, нежели, чем из таблицы.

К стати, если я на странице pinguin.html, которая не существует, а на сайте есть pinguin.php и pinguin.htm, Ваш скрипт предложит мне оба правильных варианта?

И еще, вот тут http://chatukg.net/ratng.php я ошибся всего в одной букве и скрипт меня пнул на 404 страницу. Неужели, Вы просто сравниваете при помощи оператора like? А как же алгоритмы?

Круто!

http://chatukg.net/www/foto-show-54221 но вот это мне больше понравилось.

http://chatukg.net/www/foto-show-54184 интересно, четкие, или рисуются? (c)быдла.нет :D

для такого случая, просто синонимы дублируются и всё т.е. прописывается часть урла,например, "pingu" и для варианты pinguin.htm и для pinguin.php.

Конечно так удобнее, но вопрос остаётся открытым, как автоматом брать анкоры? или есть софтина, которая может эти анкоры сама вставлять?

LEOnidUKG добавил 07.11.2009 в 18:33

Можно и их, через регулярки, но как это всё автоматизировать.

LEOnidUKG добавил 07.11.2009 в 18:35

тут даже гугл не выход.

Но я синомимы подправил, теперь выдаёт то что нужно.

Да это понятно, что вопрос в том, как автоматизировать. Это вопрос о том, как вообще проектировать сам сайт :) Я говорю лишь о том, что sitemap нужен больше, чем таблица с ссылками на сайте. Ну положим я пользуюсь какой-то CMS (сейчас сам проектирую CMS, - реализацией пока что не пахнет даже). Так вот в этой CMS у меня есть в БД таблица с примерно следующими столбцами:

route (роутер), params (доп параметры роутера), anchor (анкор), sitemap (есть ли в sitemap)

Упростил. Это не все.

По крону генерю xml 1 раз в сутки. При том в sitemap попадают только те ссылки, которые там нужны (есть флаг в таблице sitemap = 1), а всего в этой таблице должно находиться... ну скажем, 5000 записей. Если при ошибке 404 я читаю из базы, я создаю нагрузку на MySQL (зачем мне это при 100.000 посетителей?). Чем не лучше взять готовую XML, которая сгенерилась сегодня? Мы говорим о том, чтобы отдавать юзеру наиболее похожую страницу. Например он ввел abrakadara вместо abrakadabra, простого like '%abrakadabra%' мало. Необходимо считать все 5000 записей, прочитать алгоритм сравнения строк на похожесть (давно читал, - даже автора не помню, - на 3 или 4 курсе было, - но при случае думаю что смогу найти), реализовать его (опять же - реализовывал на C++ во первых, перевести можно было бы, но он безвозвратно утрачен) и проверить, что ввел нам юзер и на что это больше похоже. Согласитесь, abrakadara похоже на abrakadabra процентов так на 95 :) а оператор like '%abrakadara%' не найдет ничего, в то время как наш.сайт/abrakadabra - один из основных разделов сайта. Sitemap состоит у нас... ну, из 500 записей и берем мы его простым file_get_contents (или любым другим способом - на важно) и сверяем 500 записей. Находим те, процент похожести которых составляет M при том запоминая самый похожий (тот же алгоритм нахождения максимума, только немного модифицированный). Если степень похожести M% достигнута - отдаем все найденные пути. Если не достигнута, - отдаем самый похожий.

Хотя, может быть это мои оптимизаторские преблуды и вечное хотение сделать всё идеально. Оно, к стати, никогда не достигается по определению идеальности.

Вот если вы сейчас сделаете для chatukg.net sitemap и под sitemap переточите свой скрипт определения похожести, Вы убьете 3 зайцев - поисковики обрадуются, скрипт ваш не будет грузить БД (читать лок файл всяко лучше :) ) и работать он будет так же как раньше.

IMAO

So1, Спасибо за пост, я это всё понимаю и думал об этом.

Тут всё на файлах, я же писал в первом посте, БД не трогается.

Я тут понимаю, что нужен скрипт, которые будет генерировать sitemap с анкорами т.е. паук.

Фак. Вот это я проглядел :( сорри

Паук? Нет... Хотя это на любителя конечно же. Идея sitemap то не отдавать поисковику ВСЕ ссылки, а только те, которые ведут на главные страницы сайта. Паук этого определить не может (просто не может и всё - не знает он веса страницы - не умеет определять важная ли там инфа для поисковика или нет).

Лично я никогда не создавал sitemap для сайтов (ну просто опускал этот момент, как и многие программеры, наверное), а сейчас просто хочется создать мощную CMS под себя (что то вроде Drupal получается... по крайней мере она тоже на фреймверке и многие вещи схожи с Drupal'ом, но круче 😂 ). Немного труднее Drupal'а в плане написания новых модулей, но понятней для администратора. В частности, чтобы в Drupal добавить новый пункт меню нужно указать контроллер и action, что для администратора не очень то понятно (требует участия программиста). Так вот роутер это просто пара контроллер/action (как и в Drupal), из которого уже можно получить ссылку. Анкоры хранятся в БД (долго думал, но ни к чему лучше не пришел). То есть для каждого controller/action (+ доп параметры) существует анкор. Администратору главное указать, что эта страница (например список постов определенного юзера) должна присутствовать в sitemap ибо является источников ключей для поисковиков. А скрипт просто читает БД где в таблице урлов (по сути роутеров) sitemap = 1 и создает xml (при этом переводит роутеры в урлы). Для каждой записи есть степень вложенности, конечно (иначе как мы определим отношения между ссылками одного роутера, но с разными параметрами?).

Я очень долго бился с созданием структуры хранения (основные моменты позаимствованы из книги Мартина Брэмптона "Проектирование CMS фреймверка на PHP5")... Очень советую, к стати книгу (на русском не знаю есть ли - читал оригинал).

Если подскажите более подходящий вариант - буду рад очень. Потому, что это действительно проблема, которая, к стати, по началу только не кажется такой уж серьёзной, а вот если копнуть... :)

Я не очень уверен, что из моего поста всё понятно, что я хотел сказать ибо у Брэмптона только пара страниц ушла на описание самой проблемы, а на описание решения и его объяснения и того больше, но надеюсь всё более-менее понятно :) По сути это проблемы роутинга. То есть можете ли вы определить по существующей ссылке на сайте (скажем, по этой http://chatukg.net/www/cmd.php?c=info&jsclose=1&ni=%CB%B8%F8%EA%E0&ignorefocus=1) к какому именно разделу она принадлежит - "пользователи" или "галлереи пользователей" (если таковые есть)? Как автоматом составить bread crumbs (хлебные крошки)?

Это уже в мега-дискуссию превращается :) Чувствую меня уже понесло куда то в сторону... Лучше остановиться :) Только не подумайте, что тут продвигаю идею самой кмс, - результат того, что она мне покоя не дает. Если честно - ни слова о ней не хотел говорить. Когда обдумываешь подобные моменты, просчитываешь кучу вариантов, находишь какое-то более-менее красивое решение и альтернатив этому решению вроде как не видно (всё автоматизировано, всё само собой создается, подсвечивается, новые модули становятся простым тыком на кнопку и т.д.), невольно начинаешь говорить об этом, как о наиболее правильном решении, а как это объяснить, не вдаваясь в подробности? У меня стопка страниц A4 с квадратиками и стрелочками, какими то мыслями и рисунками, а смятых еще больше :)

So1, если у Вас есть блог, с удовольствием почитал бы, интересно пишите ;)

So1, да я вижу Вы немного от темы отодвинулись.

Я вот нашёл сервис: http://htmlweb.ru/analiz/sitemap.php, в принципе создаёт html sitemap в анкорами ссылок.

Теперь вопрос самый ЫНтересный и ответа на него два.

Вопрос: Как делать синонимы и АпЕчатки?

Ответ:

1. Создать мощную автоматическую интеллектуальную систему.

2. Собирать, например, в течении месяца статистику где именно ошибаются пользователи и вводить мою систему на эти страницы.

вторым вопросом я уже занялся т.е. сбор статистики прикрутил и думаю меньше через месяц, можно уже будет посмотреть, как ошибаются пользователи и как их направить на то что они искали.

Спасибо, конечно, но я не любитель вести блоги, если честно. У меня вообще к написанию всякого рода литературы не очень хорошее отношение после того, как книга, которую я писал, канула в лету вместе с жестким диском :)

Руки опускаются, когда понимаешь, что эти 100 страниц тебе стоили нескольких месяцев работы. Когда ты едешь в автобусе, тебе приходит идея и хочется ее не потерять... несешься домой просто, чтобы побыстрей записать, пока не улетела. Когда в компании подчеркиваешь модель поведения человека, которое ты не был в состоянии выразить до этого, а сейчас можешь и понимаешь - ВОТ ОНО! И тебе уже не хочется поддерживать беседу, идти "за второй", рассказывать анекдот про поручика Ржевского, а просто хочется побыстрей попасть домой, чтобы записать своё наблюдение. Когда один и тот же абзац переписываешь по 20 раз... А потом - синий экран, ремонту не подлежит, и ты в первую очередь думаешь не о том, что у тебя там какие-то документы были важные по работе, разработки, наработки, музыка, фильмы, а именно то, что написать заново ты не отважишься. Ну да - сам дурак - надо было резервные копии делать. Вот после этого писать мне и не хочется что-либо более-менее литературное и объёмное, а тем более - рассчитанное на публику.