В эпоху гита копировать файлы вручную на локальный компьютер можно только в лаптях и под свет лучины - Курилка

Я знаю, что я делал прошлой ночью

Петр Елагин · 2016-02-12T17:40:12.0000000Z

Пост для тех, кто немного понимает SQL и для кого слово скрипт =) ассоциируется с программированием а не со скрипом двери =) Преамбула: я обслуживаю один магазин по продажам нижнего белья =) Хочу поделиться вчерашнем событием: итак время 01-30 вчера залили нового производителя товаров(там было около 80 карточек товаров, картинок около 400 штук), но залили ее криво - появились дубли картинок, нужно убрать дубли, банальное дело! делаем таблицу: create table img_tmp as select max(i2w_id), i2w_image, count(*) as cnt from image2ware where wre_id in (select wre_id from ware where sts_id = 1 and fct_id = 267 and wre_is_enable and wre_is_processed and wre_is_composite) group by i2w_image having count(*) >1; =) далее я по идее должен удалить из таблицы image2ware все ID дублей из таблицы img_tmp delete from image2ware where i2w_id in (select i2w_id from img_tmp); после этого ) мне база с радостью сказала 76000 row deleted ! ( вот тут должна быть барабанная дробь, и перед глазами вся жизнь пролетает ) ) произошло это потому, что нужно было написать запрос: create table img_tmp as select max(i2w_id), as i2w_id , ну и логично в таблице img_tmp не было из за этого колонки i2w_id а была колонка max в моем мозгу ктото крикнул - У НАС ЕСТЬ ДАМП и там же всплыл ответ - да есть - но он за тот месяц ) посмотрел - 63 000 записей ), не хватает 10 000 еще картинок), но благо картинки есть как файлы, я удалил только строчки в базе, которые связывают товар с картинками, сами файлы целы! что делать ? - время 3-15 Делаю парсеры: google cache + yandex cache =) пол часа на каждый =( долго блин, хотел сделать через XML, потом плюнул - сделал просто по старинке после запроса к базе - выяснилось, что у нас около 9000 активных карточек товара =) далее делаем обработчик данных парсинга =) ( так уже 4-00 - руководство проснется и придет в 9-00 =) у меня еще 5 часов) гугло отработал быстро - всего за 2 часа = итого у нас есть из 9000 карточек около 7000 в наличии в кеше гугла, далее яндекс =) 2000 спарсилось за час( долго так как я не хочу заморачиваться еще сейчас с капчей) - итак у нас из 9000 карточек есть 7900 в кешах Далее обработчик - берем данные парсинга = и делаем SQL для инсерта в базу ( время уже 7-00 =))) два часа у нас есть) есть - запускаем запрос = еще тратим 20 минут на вставку около 25 000 инсертов( не могу сказать почему так долго - не стал разбираться ) так теперь небольшой скриптик переноса месецового дампа на те карточки товара, что я не нашел в кешах: connect = database.connectPostgre(................) cursor = connect.getCursor() i2w = cursor.fetchallDynamic('image2ware') print len(i2w) i2w_master = self.cursor.fetchallDynamic('image2ware', sDictColumn='wre_id') print len(i2w_master) self.cursor.begin() for onde_index, once in enumerate(i2w): if onde_index % 1000 == 0: self.debug(u"Oбработка {0}/{1}".format(onde_index, len(i2w))) if once.wre_id not in i2w_master: insert = {} insert.update(once) del insert['i2w_id'] insert['i2w_message'] = u"old-{0}".format(self.now) self.cursor.insertDynamic('image2ware', insert) # print insert self.cursor.commit() Итого еще час на вставку 40 000 ссылок так уже 8-40 =) Заливаем заного те фотки, ради которых все и произошло, и сразу удаляем дубликаты! 8-50 - ПИ ПИ ПИ ПИ ПИ =) проверяем - еще 10 минут =) Все 9-01 , LogOut =) Mission complete =) Спать =)

199

Arsh

13 февраля 2016, 11:11

#21

Бардо:
Об чём топик, православные?

ТС начинает догадываться, что сам устроил антипиар себе.

:)

1

224

Бардо

13 февраля 2016, 11:12

#22

Тогда зашибись! Одобрямс! Пусть ещё ночку пободрствует, может ещё чего отожжёт...

Пишу статьи https://searchengines.guru/ru/forum/291836 Связь @bardobook

307

medea

13 февраля 2016, 11:14

#23

Бардо:
Об чём топик, православные?

Jesus Saves!

1

Продвижение сайтов (http://www.iqpromo.ru/) под моим присмотром :)

197

Петр Елагин

13 февраля 2016, 11:24

#24

Arsh:
ТС начинает догадываться, что сам устроил антипиар себе.
:)

пост не ради пиара ) - просто событие в жизни

https://shareways.ru

262

overnight

13 февраля 2016, 11:38

#25

AlienZzzz:
Ну создание бэкапа, не моя сторона вопроса - сервак то не мой - моя задача делать новые фишки на сайте, программить, не бэкапить

AlienZzzz:
пост не ради пиара ) - просто событие в жизни

Оправдаться уже не получится. Теперь каждый заказчик будет думать: «Он не сделает мне бэкап».

3

DV

644

DenisVS

13 февраля 2016, 11:56

#26

5

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )

129

yet_warm

13 февраля 2016, 11:58

#27

overnight:

Оправдаться уже не получится. Теперь каждый заказчик будет думать: «Он не сделает мне бэкап».

Есть безбашенные, есть более крутые поцоны - безбекапные. 😂

Заказчик будет знать, что реальни хлопец подымет ему сайт с нуля - еще из состояния его задумки. ;)

Многие хотят попасть в рай, мало кто хочет для этого умирать.

262

overnight

13 февраля 2016, 12:08

#28

yet_warm:
Заказчик будет знать, что реальни хлопец подымет ему сайт с нуля - еще из состояния его задумки.

Да, это плюс. ТС-а можно приглашать когда всё сломано.

Из «Спасти и сохранить», про него только «спасти». :)

1030

Каширин

13 февраля 2016, 13:53

#29

Katrin1988:
Еще раз убеждаюсь - перед тем как делать что-то с сайтом надо сделать вручную копию файлов и базы на локальный компьютер :)

В эпоху Git копировать файлы вручную на локальный компьютер можно только в лаптях и под свет лучины ;)

78

Katrin1988

13 февраля 2016, 15:16

#30

Каширин:
В эпоху Git

так же можно сказать что в эпоху айфонов разговаривать по стационарному телефону это удел крайнего севера. Каждый делает так как ему спокойнее.Мне спокойнее когда я вижу что тот файл, или таблица с которыми я работаю лежат спокойно на локале и я могу в любой момент сделать откат.

---------- Добавлено 13.02.2016 в 19:21 ----------

Почитала про Git. Может Крупным проектам он и подходит. Если у меня десяток сайтов на WP и DLE то как я могу использовать гит? Держу их на ВПС у разных хостеров. Мне кажется что ваше заявление тут не уместно

---------- Добавлено 13.02.2016 в 19:22 ----------

Когда читала то у меня было выражение как у обезьянки на аватарке :D

LinkBoss.net - Трастовые ссылки для увеличения трафика в 10 раз! (http://linkboss.net/)

Хостинг YouTube. Система внутренней Как вставить тег на Moldu vs Родного

Что делать, если ваша email-рассылка попала в спам

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Я знаю, что я делал прошлой ночью