Архив: Парсинг статистики рефералов с binance
Бюджет
125$
/ 7500
руб
в месяц
Создан: 7 лет назад
Закрыт
- Описание
- С биржи Binance.com по ссылке:
www.binance.com/user/down...
где 1542300000000 это UNIX time*1000 ,в данном случае 2018/11/15 4:40:00 PM (UTC).
а 1542301500000 это 2018/11/15 5:05:00 PM (UTC)
Я собираю статистику торгов рефералов со страницы www.binance.com/invite.ht... . Результатом запроса является файл csv (приложен для примера), в котором будут перечислены все сделки в указанный интервал.
Ранее на бинансе все работало нормально и я мог загружать статистику за месяц, с увеличением объемов информации сейчас я могу загружать статистику максимум за 25 минут.
Необходимо написать программу, которая загружала бы несколько csv файлов разбитых по N минут. Склеивала все загруженные файлы в один.
Проблема 1 : по запросу может загрузиться не весь интервал, а только половина из-за сбоя на сервере, на который я повлиять не могу.
Решение проблемы 1: запрашивать статистику с пересечением интервалов (в нашем случае нахлест 2.5 минуты), проверять что последние 2,5 минуты предыдущего файла, есть в 2,5 первых минутах следующего файла. удалять эти повторы и склеивать только уникальные сделки. Но просто дубли удалять нельзя, в середине файла может идти несколько абсолютно одинаковых сделок в т.ч. время сделки, сумма и валюта. Либо контроль полной загрузки отчета на Ваше усмотрение...
Проблема 2: вы не сможете загружать чужую статистику сделок, т.к. для этого нужно быть залогиненным в аккаунт на бирже, в браузере в котором делается запрос по ссылке.а доступ к своему аккаунту я вам дать не смогу, т.к. там хранятся денежные средства.
Решение проблемы 2: вы мне будете скидывать промежуточные версии программы, с файлом логирования допустим (результат работы программы), который я вам буду передавать, т.е. я буду на связи с вами во время выполнения задания.
Проблема 3: по ссылке вообще может ничего не загрузиться из-за сбоя на стороне бинанс, обычно выдает страницу с кодом ошибки (429, 504 скриншоты приложены), и файл не грузит. такое бывает когда запрашиваешь слишком "большой" интервал, либо когда у них просто ничего не работает.
Решение проблемы 3: 429 ошибка означает, что нужно повторить позднее, после 504 обновлять страницу бесполезно, нужен контроль выполнения операции после каждого запроса, логирование, нужно чтобы программа запоминала на каком месте она остановилась, чтобы не нужно было начинать каждый раз все заново. если получает 429 ошибку пробовала загрузить повторно самостоятельно через N минут (задается в программе).
В файле конфиге нужно иметь возможность задавать дату начала статистики в формате UTC, дату окончания статистики в UTC формате, интервал дробления и накладки друг на друга в минутах (в нашем случае это 25 и 2,5), формат ссылки.
Результат работы программы: склеенный файл csv из множества мелких.
Скорость работы программы не критична, в разумных пределах конечно же, наоборот наверное после каждого запроса нужно делать небольшую паузу, чтобы не словить бан по IP от БИНАНС.
РАБОТА ТОЛЬКО ЧЕРЕЗ БЕЗОПАСНУЮ СДЕЛКУ. УКАЗАНА КОНЕЧНАЯ СУММА ДЛЯ ВАС, ДО ВЫЧЕТА 13%.
Отвечаю только исполнителям, дочитавшим до конца. Начните свой текст со слова ПРОЧИТАЛ. Спасибо.
- Категория
Похожие проекты
0
3
Необходимо разработать систему, которая: Подключается к API Diagnocat и iDent (через токены доступа). Получает данные о пациенте, результатах диагностики, снимках и назначениях. Автоматически формирует структурированный отчет по шаблону (включая врачей, этапы лечения, стоимость и описание процедур).......
3 месяца назад
0
0
Необходимо связать БД 1C:ERP с БД Outlook, MS Access, Битрикс24. Например при вводе нового сотрудника в 1С:ERP он должен автоматически появляться в вышеперечисленных БД....
3 месяца назад
0
1
Требуется реализация отчёта на кастомизированной 1С:УПП 1. 2, ТЗ и контрольный пример во вложении, 80% кода должно быть покрыто модульными тестами....
3 месяца назад
$7
0
2
Мне нужно копировать мой текст и вставлять в одну группу ВК с открытой стеной для публикации рекламы. Задача скрипта/сервиса/программы - примерно каждые 10 секунд брать мой текст и вставлять в эту группу. Я пробовал через одну программу, которая записывает действия мышки и потом повторяет, но она как-то......
5 месяцев назад
0
0
Написать прошивку для A94B114, используя 2 подобные рабочие прошивки. Все файлы есть....
6 месяцев назад
$21
0
2
Нужно разархивировать файл архив. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы(скрины)....
8 месяцев назад
0
1
Входные: Имеется скрипт по обработке email писем и добавление их в систему Redmine Проблема: Система обработки этих писем написана некорректная и негибкая Задача: Переписать логику обработки входящих писем, чтобы исключить их потерю при незначительных отклонениях от ожидаемой структуры....
8 месяцев назад
$37
0
2
- В обязанности сотрудника входит поддержание мобильного приложения системы автоматизации бизнеса. - Работа сдельная: задачи выдаются на оценку, далее после согласования передаются на реализацию. - Заключаем договор и NDA (соглашение о неразглашении)....
8 месяцев назад
$71
0
0
Информация о проекте: Проект включает в себя React Native приложение с Expo внутри которого находится webview с сайтом На устройствах с ОС IOS проблема с воспроизведением видео....
8 месяцев назад
0
0
Разрабатываю десктопные программы на языке Java, а так же Java + SQL....
8 месяцев назад
0
0
0
6
1. Чтобы можно было писать описание события (без заголовка) - превью в списке берется N количества букв с начала. (в списке писать дату события и сколько осталось до него) . Выставление даты и времени напоминания и ИНТЕРВАЛА ПОВТОРА ОТ 1 МИНУТЫ! Выставлять количество повторов, далее напоминания прекращаются.......
9 месяцев назад
0
4
Сайт arg2028t. beget. tech/. Нужно сделать вот такой калькулятор. airprint. by/outdoor/wide-format. и еще некоторые доработки....
9 месяцев назад
$214
0
1
0
7
Краткое описание: Мы ищем исполнителя для тестирования функционала мобильного приложения на платформе Android. Задача включает проверку основных функций приложения, таких как работа комнаты, передача видео, звука и чата, а также создание подробной отчетности о найденных ошибках. Требования к исполнителю:......
10 месяцев назад
0
12
$143
0
0
Oпpocы (1008pyб/чaс) Заходитe на сaйт: gonsù....
11 месяцев назад
0
4
Требуется создать скрипт для premiere pro. Данная суть скрипта: в выделеном бине нужно что бы автоматически проставлялся in out ровно по серидине файла так что бы выделенная область была длиной 3 секунды. И требуется кнопка что бы работало через окно expressions. Проблема текущего в том что он не работает......
11 месяцев назад
0
2
Нужно создать приложения под гемблинг/беттинг, на котлин. Приложение должно работать Firebase. Детали вышлю при обсуждение....
11 месяцев назад
$21
0
4
Нужно разархивировать файл archive. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы ....
1 год назад
0
3
Разработать впн сервис ( Приложения на ios и android + сайт для оплаты подписки). Настройка Серверов. Оплата по договоренности. Работаем черед безопасную сделку....
1 год назад
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите