Архив: Написать скрипт сверки Адресов из больших данных

Бюджет 25$ / 1500
руб
в месяц
Создан: 4 года назад
Закрыт
Описание
Необходимо сделать скрипт (или 2 скрипта – в зависимости от того как реализуем функционал)  работающий под Windows (такой же с графическим интерфейсом), где пользователю (мне) нужно будет указать два файла – 
1) файл с адресами (где есть список адресов, которые мы и будем искать) Скрин: http://joxi.ru/gmvR9G8fqN5LVm 
и 
2) файл с моими сгенерированными адресами (среди которых и будет проходить проверка.) Т.е. это те файлы к которым вы делали Скрин: http://joxi.ru/p2783dWfKpGdNA  Эти файлы и будут от 6 до 30 Гб.

Скрипт должен работать OFF-line.

Функционал  – 
Первоначальный процесс – подготовить исходный файл, удалив из него ненужные данные (адреса, которые начинаются не с 1)
Вторичный процесс – провести сверку данных одного файла с другим и в случае нахождения совпадения создать текстовый файл Rezult (например в той же папке где будет мой файл №2), где сохранить этот адрес и ключ (ключ это следующая строка). http://joxi.ru/5mdk3ZdU3nbx3r В случае нахождения нового совпадения дополняем этот файл еще одними данными и т.д. 

Визуально только показываем процесс – сколько обработано (ползущая полоса в процентах, можно и без процентов – например как в скрипте фильтрации, который делали). 
Файл №1 буду качать отсюда https://balances.syndevio.com/ 
Каждую неделю здесь бывает все открыто для загрузки (актуальная информация)

Ссылка была открытая (https://balances.syndevio.com/balances/balances-bitcoin-20200128-0100-CA2e0Jyj.gz 
https://balances.syndevio.com/balances/balances-bitcoin-abc-20200128-0139-KR49fiJq.gz

Нужно сделать что бы все работало и с большими данными и насколько возможно быстро (хотябы чтобы я на ночь ставил такой процесс для анализа).
В файле № 1 примерно 28 миллионов строк

Можем здесь в переписке обсудить нюансы по заказу и предоплате, что бы Вам взять в работу.
Категория

Похожие проекты

safe$22
9 0
требуется готовую онлайн анкету на django по приему на работу перенести в whatsapp, telegram и viber. Нужно чтобы кандидат мог с удобством заполнять анкету с телефона, а все заполненные им данные по всем позициям автоматически загружались в нашу базу данных. В нашей базе будет создаваться резюме кандидата......
safe 
28 0
В наличии массив кадастровых номеров (КН), необходимо путем запроса на ПКК определить примерные географические координаты каждого объекта из массива КН (ОКС, ЗУ), вывести в результирующий файл эти ко-ты и ряд сопутствующих данных по этому КН....
1 год назад
safe 
44 1
Необходимо разработать бек и фронт мини-сервиса таким образом, чтоб его можно было развернуть внутри другого проекта....
safe$1111
23 0
Стоит на Бизнесе для своих нужд на простеньком базовом шаблоне, складываю туда контент потихоньку. Нужно начинать приводить в соответствие что бы публика сразу не убегала, а как то цеплялась, да и продвигать не торопясь. Шаблон где порвался от вставки баннеров подправить, для мобилок может сверстать.......
safe$22
55 0
Парсер для сайта stockx. com на питоне (selenium/pyppeteer). Необходим следующий функционал: 1. На главной странице с поиском по ключевым словам найти первый результат из поиска (ссылку на страницу товара) ....
1 год назад
safe$44
49 0
Трипланарная транспортная задача (отправители - транспорт - получатели) генерация исходных данных трехэтапное решение 1....
safe$1111
48 0
Требуется написать парсер маркетплейса, у которого есть только мобильное приложение (IOS, Android). Есть исходный код Android приложения (Java + Kotlin), реверснутый через JADX. Необходимо парсить данные о товарах, полученные по артикулу. За подробностями тг: @markermann)....
1 год назад
 
38 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
 
36 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
 
37 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
 
31 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
 
40 1
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
$22
59 1
В Геткурсе нужно сделать интеграцию со Сбербанком для оформления рассрочки/кредита. Основная задача – передача суммы и номера заказа при переходе для оформления рассрочки и возврат сведений при удачном оформлении. Эквайринг от Сбербанка к Геткурсу подключён, а готовой интеграции для рассрочки нет. Если......
1 год назад
 
96 0
Нужно сделать бот перехватчик заказов по фильтру такси Максим!...
1 год назад
$33
75 1
Как можно загрузить готовое фото из галереи, если приложение просит загрузить фото и при этом открывает камеру телефона? Нужно вместо использования реальной камеры смоделировать вход камеры и при этом загрузить фото из галереи....
1 год назад
 
117 3
Очень простой криптообменник в виде веб-сайта. Без смарт-контрактов и т. Все платежи вручную....
Смотреть все