Hkey

Hkey
Рейтинг
222
Регистрация
30.09.2006
Интересы
Java
pavel419:

Облако для отдельных разделов сайта поможет типа повысить тематичность линковки?

Нет фактов доказывающих, что тематичность линковки влияет на ее эффективность. Более того, тематичность линковки "смазывает" эффект перераспределения веса в пользу основных посадочных страниц.

Облако для разделов нужно в целях юзабилити и его уникализации.

Hkey добавил 06.05.2011 в 22:04

pavel419:
Hkey, кстати как насчет косяка с титлами, поправили?

да, поправил

pavel419:

Еще хорошо бы сделать, чтобы скрипт анализировал роботс тхт, чтоб случаем не ставил в облако то, что не надо. Или дать такую опцию- не добавлять в облако такие-то урлы. По сути, обратную вашей.

Логично, что если вы в роботс.тхт закрыли урл, то на него переходы не идут и в облаке его не будет.

Вышла новая версия 2.3.3

Изменения

  • Раздел "Установка на другие CMS" был переписан.
  • Была проведена оптимизация по скорости
  • Кеш стал занимать в разы меньше места
  • В админку добавлена кнопка оптимизации таблиц
  • В админку были добавлены опции:
  • Исправлены некоторые ошибки с паролем на админку
    • GZip cжатие кеша
    • Кешировать страницы целиком
    • Не создавать таблицы
    • Оптимизировать таблицы (оптимизирует таблицы раз в 2000 запросов)
  • Все эти опции вместе со сроком кеша перенесены в отдельный раздел опций "Оптимизация"
  • В облако добавлен параметр urlstart (Если он задан, то в облаке будут только страницы начинающиеся с него). С помощью этого параметра можно выводить только определенные типы страниц, либо облака для конкретного раздела сайта.
  • Добавлена функция the_keys_cloud_subdir($params='',$MinPages=5) - выводит облако для текущей директории, если в число ссылок в нем не меньше $MinPages (5ти). Если меньше выводит общее облако. Например, для страницы http://site.ru/dir/page1.html выведет в облаке только страницы http://site.ru/dir/* Эту функцию можно использовать, чтобы вывести отдельные облака для разделов сайта.
  • Исправлены некоторые глюки, например, со сбросом пароля на админку.

Скачать обновление можно по тому-же адресу введя тот-же серийный номер.

Обновлять нужно просто переписав файлы.

Пароль на админку нужно задать заново.

После обновления удалите кеш.

P.S. В этой версии есть все возможные оптимизации по скорости, которые можно произвести с сохранением "честности" расчетов. В теории эта версия должна тянуть все что угодно. Но если будут тормоза на некоторых, особо крупных сайтах, то попробуйте отключить запоминание переходов и оптимизировать таблицы и в любом случае отпишитесь мне на мыло.

Hkey добавил 06.05.2011 в 20:02

stabuev:
а можно ли как-то сделать так, чтобы при обновлениях настройки не выбивало :)

Настройки не выбивает при обновлнении. Настройки хранятся в auto_config.php его нет в обновлении он динамически создается (auto_config0.php есть в обновлении, но он не исполняется)

Пароль сбрасывается только при установке этой версии, поскольку его сохранение изменено.

sokol_jack:
Ой, прям в разы? ;)

Апдейт намного медленее инсерта

sokol_jack:
Вы так уверенно бравировали знаниями SQL в топике, что я как-то упустил вероятность того, что вы не догадаетесь что вывод списка запросов + вероятность его выбрать сделана для демонстрации. В реальности - любимым генератором случайных чисел получили значение от 0 до 1 и выбрали тот 1 запрос, вероятность которого ближе всего к полученному значению.

Хорошо, но линейность природы вашего кода это не убирает. Вы их должны отсортировать по значению (а не по индексируемой колонке) это больше чем линейная сложность. Я думал что вы с сортировкой просто ошиблись и не стал прикапываться. Еще и расчет значения вероятности имеет линейную сложность.

Hkey добавил 05.05.2011 в 00:04

pavel419:
Hkey, отличная тема. ваш скрипт кладет мой mYSQL, и это на выделенном сервере. 0_o
Какая у него предельная посещаемость? Поставил на тысячник... Сейчас отключит и ребутаю машину...

На моем тысячнике он уже месяца 4 стоит. Сервер не выделенный, ничего не ложит ни одного письма не приходило о превышении лимита. Сайт не тормозит. Возможно причина в другом.

Hkey добавил 05.05.2011 в 00:09

DmitryShustov:

можно и так назвать, какая разница. Главное что проблема есть и имея ее парсилка эта может сделать еще хуже.

Во первых это не парсилка. HTracer ничего не парсит.

Во вторых весом и внутренним ссылочным переоптимизировать нельзя.

В третьих не наблюдал переоптимизацию альтами картинок. На нее влияет тест и титл страницы.

В четвертых если переоптимизация происходит, то позиции ухудшаются -> трафик понижается -> вес запроса понижается -> число альтов уменьшается -> уровень переоптимизации снижается -> позиции улучшаются -> .... -> снова переоптимизация.

Он так будет прыгать туда-сюда и со временем остановиться где-то на середине. Ну это чисто в теории, таких ситуаций не видел.

DmitryShustov:

так я поставил прямой вопрос, а вы даже ответить не смогли.

Я ответил вам зависит от ситуации. По поводу ситуации с переоптимизацией я ответил.

makskyr:
Hkey не могли бы Вы по умолчанию такую фичу прикрутить, а то рельно жрет ресурсы!☝

В следующем апе этого не потребуется.

sokol_jack:
Поскольку запрашивать данные (SELECT) тут приходится намного чаще, чем обновлять (UPDATE/INSERT), то:
1) храним в БД: урл странцы, ключ перехода с ПС, количество переходов
2) при переходе с ПС:
INSERT INTO table (url,key,cnt) VALUES ($url,$key,1) ON DUPLICATE KEY UPDATE c=c+1;

3) при выборе ключа для страницы:
select key, (cnt / (select sum(t1.cnt) from table t1 where t1.url = t2.url)) * 100 as pr
from table t2
where t2.url = '$url'
order by pr desc


Но даже без оптимизаций у меня на таблице с 10000 записями никаких тормозов не возникло.

1. У вас вставка инсерт + апдейт, что в разы медленее инсерт. Но это мелочи.

2. При каждой загрузке страницы мы должны выбрать в среднем по тридцать титлов ссылок на другие страницы. Если конечно кеша нет. Т.е. мы должны выполнить вашу функцию 30 раз.

Вы получаете список запросов, а не сам запрос выбрать один запрос пропорционально вероятности - линейное время. Поиск по индексу в MySQL - логарифмическое.

Почувствуйте разницу при LOG2(16)=4 LOG2(256)=8 LOG2(1024)=10. На копирование тех запросов, которые вы не выбираете теряется время и прочие мелочи.

Единственный более приемлемый вариант считать "честно" только ключи генерируемой страницы, а титлы ссылок выбирать из 2-3 вариантов кеев страницы-донора. Причем сначала, нужно выбирать одним запросом эти кеи для всех титлов, которые будут нужны в дальнейшем. Этот вариант будет в третьей версии нужно менять структуры БД, а перед этим нужно ее продумать учитывая все возможности.

Hkey добавил 04.05.2011 в 23:17

seoboy:

1. Подскажите, появилась ли поддержка яху и бинг?
2. Стоит ли устанавливать на англоязычные сайты?

1. Яху давно появилось. Месяц как точно. В целеособразности Бинг не уверен (какой у него % трафика)

2. Да только большинство имен собственных не будет поднято в верхний регистр.

Amaroid:
На новом сайте с 10 униками в день облако появилось на третий день.
Но вот с сайтом 8к замучался .Вы советуете отключить gzip сжатие - ну как на таком сайте отключить эту функцию , сайт будет медленнее работать .В партнёрке советуют отключить js сжатие , вы советуете отключить gzip сжатие - все советуют поотключать полезные вещи чтоб сайт вообще не грузился?
Вот хочу сказать что на сайте 8к с выставленным кэшем трасера 1 день - кэш не успевает очищаться (суток не проходит) как появлятся ошибка превышения дисковой квоты . Запас диска на сайте 3 гб , что-то многовато для кэша хтрасера за 20 часов . Может сделать почасовую очистку ? Отключение кэша хтрасера приводит к тормозам загрузки страниц сайта.
Пока кэш чищу вручную по несколько раз в день.

1. Вы ошибаетесь gzip сжатие замедляет сайт, но уменьшает расходуемый трафик. На части CMS можно поставить HTracer чтобы было gzip сжатие и он работал.

2. По поводу кеша, в новом апе. Кеш будет занимать намного меньше места.

Hkey добавил 04.05.2011 в 14:37

ali82:
Вы для каждого нового захода создаете новую запись в таблице? Тогда в условиях использования срипта ставьте ограничение на системные ресурсы, т.к. при большой количестве заходов база разрастается очень быстро.

Запоминание переходов можно деактивировать.

ali82:

Вот во что выливается ваша оптимизация по скорости для сайтов с большой посещаемостью

В следующем апе скрипт будет быстрее и кеш будет занимать в разы меньше места.

ali82:

Четко видно, где скрипт был установлен. А где снят.
Посещаемость ресурса за это время не то что не увеличилась, а даже немного снизилась в 20-х числах и с тех пор так и не выросла. При этом сам htracer на отображение данных настроен не был, был настроен только на сбор статистики.

Логично, что если изменений на сайте нет, то прироста трафика не должно быть :)

ali82:

не мог настроить, в теме здесь писал

Не помню, на мыло напишите.

Hkey добавил 04.05.2011 в 14:47

Димитрий:
если он имитирует все эти переходы, то мама дорогая..

Не в буквально смысле, конечно. Он записывает импортированные переходы так-же и обычные. Это называется общностью хранения информации. Не цепляйтесь к словам.

Ваша демагогия мне уже порядком надоела. Как мы выяснили, вы не разбираетесь ни в программировании ни в SEO ни в MySQL. При этом вы высказываете свое мнение о работе того, в чем вы не совершенно не разбираетесь.

Более того, вы не хотите признать свою неправоту.

Димитрий:
я просто не в курсе, как работает данный скрипт

Этого не требуется. Я Вам задал очень простую задачку из самых основ SQL/MySQL. Любой разбирающийся в вопросе человек сказал бы сразу, что задача нерешаемая.

В принципе не нужно даже знать SQL/MySQL или программирование. Простая логика: когда у нас отдельно не записываются переходы, нужно считать вероятность выпадения ключа, а для этого нужно просуммировать все значения, а чтобы просуммировать все значения нужно их считать. Что займет время.

Жду от вас публичного признания неправоты. Публично кидаться не разбираясь в теме вы можете, теперь посмотрим хватит ли у Вас сил признать свою ошибку.

P.S. По поводу облака, походу, вы установили на разные БД админку HTracer и HTracer на сайте. Либо используете разные префиксы таблиц.

Hkey добавил 04.05.2011 в 15:29

DmitryShustov:
Такой важный момент и не описан детально...

Под прыгающими запросами вы имели ввиду переоптимизацию?

тогда это говносео какое то выходит по факту

Попрошу не выражаться, а если выразились, то обоснуйте.

Димитрий:
эти 12600 строк были созданы СРАЗУ же во время импорта, был вставлен список слов и т.д.

При импорте заходов имитируются переходы. Если вы думаете, что вы лучше меня понимаете структуре БД, программировании и прочем... То решите поставленную задачу:

Нужно выбрать для страницы случай ключ, причем вероятность его выпадения должна быть пропорциональна числу переходов по нему с поисковиков. И причем это сделать нужно крайне быстро (поскольку эта самая частотная функция программы).

P.S. Если вы все-таки разберетесь почему переходы, записываются в разные строки БД, я жду от вас публичного признания в вашей не правоте. Если вы решите эту задачу без записи переходов в отдельные строки и при этом не снижая производительность, то я признаюсь что я был не прав.

Димитрий:
причем тут апдейт яндекса вообще?
если сайты уже на сто рядов проиндексированы.

Вы оказывается не разбираетесь не только в программировании...

Чтобы изменения на странице вступили в силу в Яндексе, страница должна переиндексироваться роботом Яндекса и должен произойти апдейт текстовой базы. Апдейт, в Яше, обычно, ставит в поиск индекс недельной или двухнедельной давности.

Димитрий:

я не пью вообще. писать вот так как пишете- это уже о многом говорит, собственно был о вас лучшего мнения, но видимо увы, культурой общения тут и не пахнет.

Если вы умудрились установить причинно-следственную между Апдейтами Яндекса и шаблонами smarty, то утренний бодум самое мягкое из возможных предположений которые я бы мог высказать.

Димитрий:

а шаблоны smarty при том, что если в них вставить <?php echo get_keys_cloud(); ?> то работать ничего не будет.

Логично, что не будут. Написали бы в суппорт я бы помог.

Димитрий:
откуда там взяться 12600 переходам, если работа шла с 80ю словами?

Переход это один заход пользователя. По одному запросу может перейти несколько пользователей. Для вас это новость?:)

Димитрий:

ht_search_query там некоторые строки со всем содержимым- стократно повторяются!!

Вы сами говорили, что вы не программист, поэтому, не задавайте вопросов, ответ на который не сможете переварить. Если в двух словах это структура БД - оптимизация по скорости.

Попробуйте быстро получить случайный ключ для страницы с URL=$URL, причем вероятность выпадения ключа должна быть пропорциональна числу переходов по этому ключу.

P.S. У вас ужасная пунктуация.

Всего: 2639