Создание парсера интернет магазинов

Или даже RSS райтер :)

Интересно, ТС правда думает что кто-то ходит по каким-то исходящим ссылкам :) ?

ЗЫ. Скажу я вам, с этим парсингом... сплошное огорчение. Собираю я тут стату в довольно крупном проекте.

Со страницы получается реальных данных... внимание... внимание.... 2000-3000байт. Это сериализированных.

Т.е. по факту в пределах 1000 байт.

Средний объем страницы 500.000 байт. Только 1/500 данных полезны пользователю, остальное результат

использования "современных движков", бутстрапа итд итп. Оформление сжирает 499/500 х.

Глаз уже дергается от этого всего, так хочется шаблоны им поправить.

Но ничего, живут как-то люди. Хотя мрак конечно тот еще.

И да, вера в краулинговые бюджеты и технические факторы ранжирования покинула меня...

Меня уже лет 5 как покинула, хотя может приврал, но года 3 так точно 🤪

Это результат ЗАПРОСОВ конечных юзеров. Это они покупают блестящие картинки и пр свистоперделки.. (что меня самого не радует ни разу)

А их реальные бюджеты не позволяют шить костюмы на заказ для походов в супермаркет за стандартными овощами.

Но между заказчиком и движком есть вебмастер. И именно он, ориентируясь на бюджет заказчика и собственные возможности может использовать или НЕ использовать тот же бутстрапа для позиционирования блоков.

Не просто живут, а зарабатывают, решают такими сайтами свои задачи.

В то время как другие меряются пиписками, заказывая носки у портных :)

Собаки лают - караван идёт.

И еще есть такие понятия - целесообразность и понты. Последнее мешает адекватному пониманию первого.

---

Я вот вчера решился и краем глаза таки посмотрел ЧТО показывал ТС в старпосте. Там от "парсера" только название. Нет там никакого парсера (ну возможно только один парсер - парсер ВК). Этот сервис - агрегатор. Ему магазины предоставляют средства выгрузки. Причем наверняка за деньги. И если у донора нет стандартных АПИ, то наверняка что--то пишется персональное.

utm-метки в ссылках с агрегатора на донора тоже как бэ намекают на многое :)

Вы не поняли по-моему. Речь идет о том, что нормальные люди сделали бы все тоже самое не в 500кб, а в 5-15кб.

Для пользователя выглядело бы так-же, грузилось бы быстрее итд итп.

Или запрос конечных юзеров - верска на 500кб html кода :) ?

Еще раз: они КОДА на 500кб написали. Говнотэгов. HTML. Как еще объяснить :) ?

В добрый путь, искренне надеюсь, что в этот кризис их всё-таки "смоет".

Заодно с теми, кто им это говно фигачит.

Но в целом я приветствую и тех и других.

Пока они так работают у меня проблем "с носками и костюмами" 100% не будет :)

---------- Добавлено 20.06.2018 в 13:43 ----------

Ну я неверно немного выразился.

Она меня ОКОНЧАТЕЛЬНО покинула :).

Нет, ну правда, глаз уже дергается. Некоторые вхреначивают в html по 100+кб css стилей.

(в каждый, в каждый товар подклеен один и тот-же css прям внутрь html на 100+ кб)

Наверное обсмотрелись советов гугла, переводя их автопереводчиком :).

Вот это спецы. Они явно решают "бизнес-проблемы", и их караван явно идет туда, куда надо :).

Завидую...

Я всё понял. И абсолютно ЗА искоренение ненужностей. Но! Я давно начал смотреть на мир разработки в реальном измерении. В реальности любой может посмотереть на сайты из ТОПа напр. и сделать выводы о целесообразности вылизывания.

А нет, не любой :)

Ну хватит эти сказок-то а. Повторить сказанное с месяц назад? Ок. мне не трудно.

Это в мечтах и развешивании лапши олухам.

А в реальности всё ровно наоборот - после таких вот, люди обращаются к стандартизированным (угу, универсальным) системам у которых есть поддержка (желательно бесплатная) и комьюнити, способное (опять же бесплатно) помочь с большинством вопросов.

И опят же - в этой реальности ты не шьёшь носки-трусы "на фигуру", не выращиваешь анансы и коров, не делаешь сыры и вино.. 99% твоего потребления - ширпотреб. Сказки аля "универсальное = говно" действуют только на олухов.

ТСу об этом почти с начала топика намекают... Он как пуленепробиваемый монах 🤪

Странно читать сказки о том, чего я делаю или не делаю "в реальности".

Огорчу вас - "в реальности шью", точнее шил раньше, сейчас стал старым и ленивым :).

Скажите, а тэги тоже не надо закрывать ?

Ну, или, скажем фигачить как-то так - это идеал :) ?

Я верно понял вашу идею, что это все путь к неиллюзорному баблу :) ?

Ну т.е.

это путь к банкротству, а вот то что выше "пробустит бизнес" :) ?

Прогнал валидатором > 200 error-ов, часть из них как fatal помечена.

Прям-таки вижу результаты "бесплатного решения с обширным комьюнити" :)

Я не знаю кто там с кем "спит", чтобы этот бизнес бабки приносил (а он вроде приносит, хотя я чёй-то засомневался),

но у меня такого убойного ресурса нету (не пидорас), поэтому генеренные мною html-и валидируются нормально.

И это в общем-то ЭКОНОМИТ бабки, а не расходует их. Делать валидный код дешевле, чем невалидный.

Я специально не проверял, но от такой верстки даже dom-парсеру плохеет... вижу я такое довольно часто.

А чё... "в айфоне работает - и ладно" :).

"Не надо вылизывать".... да конечно не надо. Не вылизывайте :).

Можете еще мыться перестать - тоже "мартышкин труд" :)

---------- Добавлено 20.06.2018 в 15:29 ----------

ЗЫ. А верх коммерческого успеха получается, вероятно, если делать так

Нет, я ничего не менял, действительно 58 раз встречается

id="___"

вот прям так... ___ и всё :) отличный id :)))

Браузер - лучший валидатор.

Ну и по поводу кода - вот эта страничка весит ~130 кб, а полезной информации на ней - ну текста то бишь, килобайт наверно 13 как раз. И что-то я сомневаюсь, что лишнюю верстку (html-код то бишь) можно очень сильно ужать и чтобы оформление сохранилось. Ну разве что в стили кучу всего запихать.

Точнее мне любопытно, во сколько раз можно ужать без потери оформления.

Браузер как-раз худший. Сегодня работает - завтра перестанет...

13 к 130 - это 1 к 10, у меня там где смотрю 1 к 499 :)

Думаю 130кб до 30-40кб ужать можно без особых проблем, надо смотреть конкретно что тут понаворочено.

(иногда бывают всякие кнопки фейсбучные подгружаемые, и прочий треш). Дальше - хуже.

В одном из моих ИМ (но там маловато текстовки) странички по 10-15кб, шаблонов на 30кб (всех шаблонов).

Но специально там никто не экономил, если размечать экономнее и использовать вложенность тэгов, то можно процентов 20-30 выиграть, полагаю. Может и больше.

Как у вас вообще верстка попадает в html код-то :) ?

Я секрет открою... для верстки... вы токо никому не говорите... придумали css уже давно :)

Ну я не стал бы здесь категорично что-то утверждать. CSS - он и в вёрстке CSS. Где-то правильнее в отдельный файл выделить, где-то в код страницы включить, а где-то и в атрибут style уделать. Всё в соответствии с конкретикой и целесообразностью.