Архив: Ведущий разработчик PHP(Laravel) + MySQL(Percona) + ClickHouse для перехода с MySQL на ClickHouse
Бюджет
1767$
/ 106000
руб
в месяц
Создан: 4 года назад
Закрыт
- Описание
- Есть сервер на debian 9. На нём крутится база данных mysql(percona). На сервер поступают архивы с данными, которые парсятся с помощью php, далее полученные данные складываются в базу данных и с помощью запросов выдаются на сайт. В данной реализации при добавлении новых статистик(комбинированные данные из архивов) на сайт есть необходимость парсить все архивы с данными заново. Такой процесс с учётом большого размера архивированных данных(около 1TB) занимает слишком много времени(более 1 мес.). Для ускорения этого процесса использовали дополнительные мощности в виде воркеров с Amazon EC2, которые производят параллельную обработку архивов с данными и складывают итог в базу данных. Это решение ускорило обработку, но повысило затраты.
Есть необходимость в архитектурных изменениях текущего решения для возможности быстрого добавления статистик(комбинированных данные из архивов) на сайт. В качестве одного из вариантов рассматриваем переход на ClickHouse. Есть пробное решение, которое нужно проанализировать и доработать, либо предложить другие варианты.
Необходимые навыки:
- PHP 7(фреймворк Laravel)
- управление кодом в Git. Bitbucket
- MySQL(Percona server)
- Redis(сервер очередей)
- проектирование БД в ClickHouse, либо аналогичных аналитических СУБД
- перенос БД из MySQL в ClickHouse
- опыт работы с Linux(Debian 9) через консоль
- умение организовывать обработку задач в фоновом режиме (cron)
- настройка web-сервера (Apache + желательно Ngnix)
- чтение и понимание чужого кода
- рефакторинг кода
- создание простых и оптимальных решений сложных задач
Желательные навыки:
- развертывание контейнеров Docker в AWS
- понимание и грамотное применение принципов SOLID
После реализации задачи, потребуется создание документации и поддержка.
Будем отдавать предпочтение кандидатам, желающим развивать проект после выполнения задачи на постоянной основе вместе с нашей командой!
- Категория
Похожие проекты
$22
9
0
требуется готовую онлайн анкету на django по приему на работу перенести в whatsapp, telegram и viber. Нужно чтобы кандидат мог с удобством заполнять анкету с телефона, а все заполненные им данные по всем позициям автоматически загружались в нашу базу данных. В нашей базе будет создаваться резюме кандидата......
1 год назад
28
0
В наличии массив кадастровых номеров (КН), необходимо путем запроса на ПКК определить примерные географические координаты каждого объекта из массива КН (ОКС, ЗУ), вывести в результирующий файл эти ко-ты и ряд сопутствующих данных по этому КН....
1 год назад
44
1
Необходимо разработать бек и фронт мини-сервиса таким образом, чтоб его можно было развернуть внутри другого проекта....
1 год назад
$1111
23
0
Стоит на Бизнесе для своих нужд на простеньком базовом шаблоне, складываю туда контент потихоньку. Нужно начинать приводить в соответствие что бы публика сразу не убегала, а как то цеплялась, да и продвигать не торопясь. Шаблон где порвался от вставки баннеров подправить, для мобилок может сверстать.......
1 год назад
$22
55
0
Парсер для сайта stockx. com на питоне (selenium/pyppeteer). Необходим следующий функционал: 1. На главной странице с поиском по ключевым словам найти первый результат из поиска (ссылку на страницу товара) ....
1 год назад
$33
31
1
$44
49
0
Трипланарная транспортная задача (отправители - транспорт - получатели) генерация исходных данных трехэтапное решение 1....
1 год назад
$1111
48
0
Требуется написать парсер маркетплейса, у которого есть только мобильное приложение (IOS, Android). Есть исходный код Android приложения (Java + Kotlin), реверснутый через JADX. Необходимо парсить данные о товарах, полученные по артикулу. За подробностями тг: @markermann)....
1 год назад
83
4
70
2
38
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
36
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
37
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
31
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
40
1
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
$22
59
1
В Геткурсе нужно сделать интеграцию со Сбербанком для оформления рассрочки/кредита. Основная задача – передача суммы и номера заказа при переходе для оформления рассрочки и возврат сведений при удачном оформлении. Эквайринг от Сбербанка к Геткурсу подключён, а готовой интеграции для рассрочки нет. Если......
1 год назад
96
0
Нужно сделать бот перехватчик заказов по фильтру такси Максим!...
1 год назад
$33
75
1
Как можно загрузить готовое фото из галереи, если приложение просит загрузить фото и при этом открывает камеру телефона? Нужно вместо использования реальной камеры смоделировать вход камеры и при этом загрузить фото из галереи....
1 год назад
105
8
85
1
117
3
Очень простой криптообменник в виде веб-сайта. Без смарт-контрактов и т. Все платежи вручную....
1 год назад
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите