WEB-мастер: Какой школьник будет так изворачиваться, лучше найдет другой сайт для парсинга.
Вопрос был про возможность ajax-обращения... Для чего -
LEOnidUKG: Зачем такие сложности? Открываем сохранённую копию из гугла и парсим в своё удовольствие.
Случай уникальной информации совсем не рассматривался...
юни: Сделайте мне кто-нибудь парсер поисковой выдачи, который не нужно было бы перекраивать после каждой смены вёрстки.
Теоретически, если исходить из того, что в результате выдачи заранее известное количество (10, к примеру) "повторяющихся" (с некоторыми отличиями) участков, которые обязательно содержат определённую информацию (№ позиции, Title, URL, сниппет), задача решаема. Однако, для конкретного случая - соглашусь с Леонидом - проще раз в год подправить регулярку..
Любой десктопный (delphi, c++ builder/.net и тд) парсер, в котором используется компонент "веб-браузер" (или аналогичный) выполнит любой js,ajax-запрос и может даже мышкой поводить. :)
Кроме того, есть скрипты для браузеров (вроде обезьянки для файрфокса) и для ОС (AutoIt, к примеру). Да, часть парсеров на такой проверке отвалится... Однако, если "ну очень надо будет" - разобраться с логикой ajax-запроса (в любом случае, код доступен) и curl-ом отправить можно и из консольки/скрипта...
SQL_CALC_FOUND_ROWS не всегда даёт ощутимый выигрыш, а чаще наоборот (см комментарии к статье по ссылке).
pupseg, что за движок-то (можно в личку, если инфа "неДляВсех"). И судя по
pupseg: кода сайта, построенного на открытом коде одного известного форума.
уже допиливался? Если да - насколько сильно, и что стало с предыдущим "допильщиком"?
Если тормоза в поиске (и не получается решить администрированием) - имеет смысл вынести на сфинкс, как уже упоминали.. По остальной оптимизации - на мой взгляд, правильнее идти "от нагрузки", т.к. анализ (насколько глубокий?) всего кода - это долго/дорого.
pupseg: перекладывание крупных таблиц в базе в разделяемые таблицы.Не знаю как это правильно называется в MySQL, в Oracle это называется Oracle Partitioning
Оно вообще (для СУБД) так называется.. и делается обычно на уровне администрирования БД
p.s. Переписать движок на 5.4, попутно оптимизируя (в уме держим аптайм) - задача кхм-кхм.. специфичная.
ivan-lev, вот что получилось :)
RewriteEngine ON только один раз должен в файле быть.
Сразу после него следующие строчки редиректов вставить.
Если просто добавить строчку
ошибка будет?
Количество правил по количеству сайтов..
как сеичас лучше поступить с такими страницами? (одна новость в нескольких категориях)
Если URL-ы отличаются - оставить одну, для остальных прописать 301 редирект
http://site.ru/ban/bamn/banhdn/hndfh.htmn
А зачем разбирать в .htaccess, если в php $_SERVER['REQUEST_URI'] есть?
p.s. Если не будет расширения - правило не сработает.. если не будет пути - тоже.. ;)
У меня JS-фреймворк для FullAjax Back/Front администрирования весит ~100К вместе с визивик + jquery и упакован в 10 файлов
А можно подробностей?
Какой школьник будет так изворачиваться, лучше найдет другой сайт для парсинга.
Вопрос был про возможность ajax-обращения... Для чего -
Зачем такие сложности? Открываем сохранённую копию из гугла и парсим в своё удовольствие.
Случай уникальной информации совсем не рассматривался...
Сделайте мне кто-нибудь парсер поисковой выдачи, который не нужно было бы перекраивать после каждой смены вёрстки.
Теоретически, если исходить из того, что в результате выдачи заранее известное количество (10, к примеру) "повторяющихся" (с некоторыми отличиями) участков, которые обязательно содержат определённую информацию (№ позиции, Title, URL, сниппет), задача решаема. Однако, для конкретного случая - соглашусь с Леонидом - проще раз в год подправить регулярку..
Не видел таких.
Любой десктопный (delphi, c++ builder/.net и тд) парсер, в котором используется компонент "веб-браузер" (или аналогичный) выполнит любой js,ajax-запрос и может даже мышкой поводить. :)
Кроме того, есть скрипты для браузеров (вроде обезьянки для файрфокса) и для ОС (AutoIt, к примеру). Да, часть парсеров на такой проверке отвалится... Однако, если "ну очень надо будет" - разобраться с логикой ajax-запроса (в любом случае, код доступен) и curl-ом отправить можно и из консольки/скрипта...
melkozaur, вообще, кучу флэш-сайтов видел на DLE.
Сказал бы, что для связки (категория+статья+пагинация и даже + тэги) WP и джумлы более чем достаточно, но, видимо "более" не нужно :)
Таксономия Друпала также со всем этим справится... но, опять же, с "простотой" прокол
Как отключить обработку php?
А как она включается? и где? И вообще, смысл строчек вышеприведённого конфига точно понятен?
SQL_CALC_FOUND_ROWS
SQL_CALC_FOUND_ROWS не всегда даёт ощутимый выигрыш, а чаще наоборот (см комментарии к статье по ссылке).
pupseg, что за движок-то (можно в личку, если инфа "неДляВсех"). И судя по
кода сайта, построенного на открытом коде одного известного форума.
Если тормоза в поиске (и не получается решить администрированием) - имеет смысл вынести на сфинкс, как уже упоминали.. По остальной оптимизации - на мой взгляд, правильнее идти "от нагрузки", т.к. анализ (насколько глубокий?) всего кода - это долго/дорого.
перекладывание крупных таблиц в базе в разделяемые таблицы.Не знаю как это правильно называется в MySQL, в Oracle это называется Oracle Partitioning
Оно вообще (для СУБД) так называется.. и делается обычно на уровне администрирования БД
p.s. Переписать движок на 5.4, попутно оптимизируя (в уме держим аптайм) - задача кхм-кхм.. специфичная.