Архив: web-crawler + DB (SQL) + Web UI

Бюджет По договоренности
Создан: 5 лет назад
Закрыт
Описание
Цель: Сбор информации по производителям (отпускные цены) на их продукцию (применимо к различным отраслям промышленности), а также цен розничной торговли этими товарами в различных сетевых и специализированных магазинах 

Примеры сайтов (откуда планируется собрать цены): igooods.ru , www.okeydostavka.ru , www.a-piter.ru/cena/1_vse... (возможно понадобятся элементы OCR в этом случае) и т.п. Разработать веб-краулер (на базе Headless-Chrome?) для сбора цен. 

Собранные цены (и параметры продуктов) заносятся в БД. 
Нужно создать БД с гибкой архитектурой (для добавления новых категорий продуктов и интересующих параметров например: мясные продукты, говядина, замороженное, охлажденное, производитель-страна-город, дистрибьютор, торговая сеть, состав, упаковка и т.п.) Первоначально продукты питания. 
Позже будут добавлены другие товары – строительные и т.д. 
Выбрать БД (MySql/MariaDB, PostgreSQL и т.п.), ОС (скорее всего Linux внутри вм на хостинге DigitalOcean) 
Сделать веб UI (сайт – хостинг на том же DigitalOcean vm / nginx) для отображения цен (пример UI в личном сообщении) анализа (сравнения по разным параметрам) и фильтрации + возможно графическое отображение (диаграммы, графики). 
Гибкая поддержка разграничений доступа для разных категорий клиентов – кому-то доступ только молочные продукты, кому-то молочные+мясные и т.п., кому-то только для одного города, кому-то по всем городам-странам. Соответственно База (и UI для ее ведения) по клиентам – создание, удаление, назначение доступа и т.д. 

В будущем будет доп проект мобильных приложений (android/ios/ qt?) для сканирования цен прямо в магазинах и отправки их в БД товаров. 

Описание очень краткое , ТЗ составляется и будет обновляться. Все моменты уточнять в чате-сообщениях.
Категория

Похожие проекты

safe$71
0 1
Сделать игру для яндекс игр, настроить рекламу в игре и помочь с публикацией игры в платформе яндекс игры. Игра - карточная игра Пасьянс Паук (косынка) Игровой процесс: Тип игры: Пасьянс Паук. Количество мастей: Игрок может выбирать количество мастей: 1, 2, 3 или 4. Подсказки: Автоматические подсказки,......
$14
0 0
Без акцента на идею, необходимо создать мобильное приложение iOs и Android, с возможностью трансляции основной информации в миниапп Tg. Интеграция с платежной системой, внутренний кошелек, две валюты. В зависимости от гео, возможность конвертации валют ч/з сервер. На старте, сервер скорее облачный. Двухфакторная......
$1200
0 0
Необходимо перевести действующую БД с версии 77 на 8 (переписать конфигурацию, настроить обработки для переноса данных).   Не типовая конфигурация по учету пенсионеров в ГУ РК....
safe$22
9 2
требуется готовую онлайн анкету на django по приему на работу перенести в whatsapp, telegram и viber. Нужно чтобы кандидат мог с удобством заполнять анкету с телефона, а все заполненные им данные по всем позициям автоматически загружались в нашу базу данных. В нашей базе будет создаваться резюме кандидата......
$714
0 0
Описание задачи: Необходимо разработать serverless функцию на базе NestJS и TypeScript для автоматизированной обработки видеофайлов, загружаемых в Yandex Cloud Storage. Функция должна выполнять конвертацию видео в формат, поддерживаемый основными веб-браузерами, с последующим сжатием до оптимального......
safe$44
49 0
Трипланарная транспортная задача (отправители - транспорт - получатели) генерация исходных данных трехэтапное решение 1....
safe 
28 1
В наличии массив кадастровых номеров (КН), необходимо путем запроса на ПКК определить примерные географические координаты каждого объекта из массива КН (ОКС, ЗУ), вывести в результирующий файл эти ко-ты и ряд сопутствующих данных по этому КН....
1 месяц назад
safe 
44 6
Необходимо разработать бек и фронт мини-сервиса таким образом, чтоб его можно было развернуть внутри другого проекта....
safe$1111
23 0
Стоит на Бизнесе для своих нужд на простеньком базовом шаблоне, складываю туда контент потихоньку. Нужно начинать приводить в соответствие что бы публика сразу не убегала, а как то цеплялась, да и продвигать не торопясь. Шаблон где порвался от вставки баннеров подправить, для мобилок может сверстать.......
safe$22
55 0
Парсер для сайта stockx. com на питоне (selenium/pyppeteer). Необходим следующий функционал: 1. На главной странице с поиском по ключевым словам найти первый результат из поиска (ссылку на страницу товара) ....
1 месяц назад
 
36 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 месяц назад
 
37 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 месяц назад
 
40 1
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 месяц назад
 
31 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 месяц назад
 
38 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 месяц назад
safe$1111
48 0
Требуется написать парсер маркетплейса, у которого есть только мобильное приложение (IOS, Android). Есть исходный код Android приложения (Java + Kotlin), реверснутый через JADX. Необходимо парсить данные о товарах, полученные по артикулу. За подробностями тг: @markermann)....
1 месяц назад
$22
59 1
В Геткурсе нужно сделать интеграцию со Сбербанком для оформления рассрочки/кредита. Основная задача – передача суммы и номера заказа при переходе для оформления рассрочки и возврат сведений при удачном оформлении. Эквайринг от Сбербанка к Геткурсу подключён, а готовой интеграции для рассрочки нет. Если......
1 месяц назад
 
96 0
Нужно сделать бот перехватчик заказов по фильтру такси Максим!...
1 месяц назад
Смотреть все