Я знаю, что я делал прошлой ночью

Пост для тех, кто немного понимает SQL и для кого слово скрипт =) ассоциируется с программированием а не со скрипом двери =)

Преамбула:

я обслуживаю один магазин по продажам нижнего белья =)

Хочу поделиться вчерашнем событием:

итак время 01-30

вчера залили нового производителя товаров(там было около 80 карточек товаров, картинок около 400 штук), но залили ее криво - появились дубли картинок, нужно убрать дубли, банальное дело!

делаем таблицу:

create table img_tmp as select max(i2w_id),  i2w_image, count(*) as cnt from image2ware where wre_id in (select wre_id from ware where sts_id = 1 and fct_id = 267 and wre_is_enable and wre_is_processed and wre_is_composite) group by i2w_image

 having count(*) >1;

=)

далее я по идее должен удалить из таблицы image2ware все ID дублей из таблицы img_tmp

delete from image2ware where i2w_id in (select i2w_id from img_tmp);

после этого ) мне база с радостью сказала

76000 row deleted ! ( вот тут должна быть барабанная дробь, и перед глазами вся жизнь пролетает ) )

в моем мозгу ктото крикнул - У НАС ЕСТЬ ДАМП

и там же всплыл ответ - да есть - но он за тот месяц )

посмотрел - 63 000 записей ), не хватает 10 000 еще картинок), но благо картинки есть как файлы, я удалил только строчки в базе, которые связывают товар с картинками, сами файлы целы!

что делать ? - время 3-15

Делаю парсеры: google cache + yandex cache =)

пол часа на каждый =( долго блин, хотел сделать через XML, потом плюнул - сделал просто по старинке

после запроса к базе - выяснилось, что у нас около 9000 активных карточек товара =)

далее делаем обработчик данных парсинга =) ( так уже 4-00 - руководство проснется и придет в 9-00 =) у меня еще 5 часов)

гугло отработал быстро - всего за 2 часа = итого у нас есть из 9000 карточек около 7000 в наличии в кеше гугла, далее яндекс =) 2000 спарсилось за час( долго так как я не хочу заморачиваться еще сейчас с капчей) - итак у нас из 9000 карточек есть 7900 в кешах

Далее обработчик - берем данные парсинга = и делаем SQL для инсерта в базу ( время уже 7-00 =))) два часа у нас есть)

есть - запускаем запрос = еще тратим 20 минут на вставку около 25 000 инсертов( не могу сказать почему так долго - не стал разбираться )

так теперь небольшой скриптик переноса месецового дампа на те карточки товара, что я не нашел в кешах:

                connect = database.connectPostgre(................)

		cursor = connect.getCursor()

		i2w = cursor.fetchallDynamic('image2ware')

		print len(i2w)

		i2w_master = self.cursor.fetchallDynamic('image2ware', sDictColumn='wre_id')

		print len(i2w_master)

		self.cursor.begin()

		for onde_index, once in enumerate(i2w):

			if onde_index % 1000 == 0:

				self.debug(u"Oбработка {0}/{1}".format(onde_index, len(i2w)))

			if once.wre_id not in i2w_master:

				insert = {}

				insert.update(once)

				del insert['i2w_id']

				insert['i2w_message'] = u"old-{0}".format(self.now)

				self.cursor.insertDynamic('image2ware', insert)

				# print insert

		self.cursor.commit()

Итого еще час на вставку 40 000 ссылок

так уже 8-40 =)

Заливаем заного те фотки, ради которых все и произошло, и сразу удаляем дубликаты!

8-50 - ПИ ПИ ПИ ПИ ПИ =)

проверяем - еще 10 минут =)

Все 9-01, LogOut =)

Mission complete =)

Спать =)