Подскажите идей для скриптов

12 3
T
На сайте с 12.10.2017
Offline
6
2272

Камрады, я тут плотно засел за изучение ЯП, и в моем учебнике закончились интересные примеры. :bl: Решил потренироваться на кошках путем опроса, так как у самого с фантазией не очень. Вообщем я хочу написать пару скриптов, которые были бы полезны общественности, и выложить их в общий доступ, но в голову что-то ничего не приходит. Может кому-то реально что-то надо?

Конкретнее, моя система работает так - на вход подаются данные (список веб страниц, текст, ключевики), с разными параметрами, и с ними производятся манипуляции (разбитие на n-grammы, парсинг). Выдача всегда производится в табличном формате (csv, excel). Вообщем, если у кого-то есть идея нужного ему скрипта - напишите. Если норм - сделаю бесплатно и выложу на гитхаб или отправлю в лс!

H
На сайте с 01.04.2014
Offline
571
Had
#1

Вы про джаваскрипты или чего?

T
На сайте с 12.10.2017
Offline
6
#2
Had:
Вы про джаваскрипты или чего?

Некорректно выразился. Я про небольшие программы. Сегодня например написал скрипт компонующий урлы для AdWords кампаний.

Dreammaker
На сайте с 20.04.2006
Offline
570
#3

Tyrell, какой язык?

H
На сайте с 01.04.2014
Offline
571
Had
#4
Tyrell:
Я про небольшие программы. Сегодня например написал скрипт компонующий урлы для AdWords кампаний.

Можете написать программу которая:

Имеется файл формата *.txt в котором ссылки на сайты столбиком, например:

http://demo.peakso.com/law/index.php/forum/newtopic

http://inthepicture.com/signup.php

http://xqaqecb.blropb.ru/index.php

http://receptibliud.ru/wp-login.php

http://supuncodes.com/index.php/component/users/

http://gilur.ru/smforum/index.php

http://newlandtravel.com.au/wp-login.php

http://carolusquinto.be/forum/index.php

http://bcuba007.wordpress.com/

http://bravoxray.com/forum/index.php

http://verajosh.com/

И ссылок таких в одном файле много - 50 тысяч, 200 тысяч, миллион, 10 миллионов и т. п. Так вот, нужно чтобы данная программа брала этот файл, обрабатывала так, чтобы ссылки сверху вниз, порядок был по ТИЦ-у, от самого жирного ТИЦ-а к менее жирному и сохраняла результат также в тхт файле.

ЗЫ. Напротив ссылок специально поставил знак _ (чтобы ссылки неактивные тут были) на него внимание не обращайте, в файлах тхт ссылки без этого.

И да, нужно чтобы прога запускалась без установки на комп. Портейбл версия.

CP
На сайте с 12.08.2009
Offline
101
#5
Had:
И ссылок таких в одном файле много - 50 тысяч, 200 тысяч, миллион, 10 миллионов и т. п. Так вот, нужно чтобы данная программа брала этот файл, обрабатывала так, чтобы ссылки сверху вниз, порядок был по ТИЦ-у, от самого жирного ТИЦ-а к менее жирному и сохраняла результат также в тхт файле.

Ну вообщем если без миллионов то эксель справиться на раз. Для миллионов нужна хотя бы умение работать с map-reduce а это явно не для человека который только учиться скрипты писать.

Профессиональный frontend: JS, html,css, Single-Page App (/ru/forum/964386)
H
На сайте с 01.04.2014
Offline
571
Had
#6
Content-pro:
Ну вообщем если без миллионов то эксель справиться на раз.

А каким образом эксель будет понимать у какой ссылки какой тиц?

Z0
На сайте с 03.09.2009
Offline
759
#7

Попутал... Думал про js...

CP
На сайте с 12.08.2009
Offline
101
#8
Had:
А каким образом эксель будет понимать у какой ссылки какой тиц?

Ну в любом случае написание парсера не особо подходит под задачу развития навыков кодинга, это больше прикладное.

Ну а вообще если уж отбиваться от вашего уточнения) То можно xpath вроде в exel юзать Если погуглить можно даже такое найти

http://seotoolsforexcel.com/httpsettings/

Там вроде даже proxy поддерживается)

danforth
На сайте с 18.12.2015
Offline
153
#9
Content-pro:
Ну вообщем если без миллионов то эксель справиться на раз. Для миллионов нужна хотя бы умение работать с map-reduce а это явно не для человека который только учиться скрипты писать.

При чем тут MapReduce? MapReduce это вообще не про это. Это про обработку в кластерах. В данном случае, файл можно читать построчно, в приложении держать слайс данных (ссылка + ТИЦ), в конце отсортировать и записать в файл. Но сама идейка скучная.

Если не из полезного, но из интересного:

Напишите скрипт симулирующий работу банкомата. У банкомата есть баланс, есть купюры и количество, например:

1$ - 8

5$ - 5

10$ - 2

100$ - 4

Сделайте так, чтобы банкомат выдавал сумму за наименьшее количество шагов, и/или выдавал купюрами с наибольшим количеством в запасе (если есть 100 купюр по 50$, и только одна 100$ купюра, а клиент хочет снять 150$, ему нужно выдать 3 по 50$).

Junior Web Developer
CP
На сайте с 12.08.2009
Offline
101
#10
danforth:
При чем тут MapReduce? MapReduce это вообще не про это. Это про обработку в кластерах. В данном случае, файл можно читать построчно, в приложении держать слайс данных (ссылка + ТИЦ), в конце отсортировать и записать в файл. Но сама идейка скучная.

Можете конечно построчно работать, но уверены что у вас оперативки хватит к примеру для сортировки? Вообще на миллионах лучше специальные инструменты использовать, ибо а а вдруг данные в два раза увеличатся с специальными инструментами у вас просто время обработки увеличиться, в случае вашего велосипеда, вполне возможно придется все переписывать)

А вообще после парсинга, можно в базу загнать mysql к примеру и там отсортировать и извлечь.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий