Архив: Нужно разработать онлайн решение для парсинга сайтов и произведения анализа собранных данных.
Бюджет
750$
/ 45000
руб
в месяц
Создан: 6 лет назад
Закрыт
- Описание
- На web платформе нужно реализовать простейшую систему сбора и анализа информации.
Система будет состоять из 3 блоков.
Блок 1
1.) Система сбора данных по планируемым государственным закупкам (https://gias.by/gias/#/ Планы государственных закупок или http://goszakupki.by/purchases/all). Система должна собирать данные по предприятиям (УНП) по планируемым государственным закупкам (всем). При этом система должна производить цикличный повторны парсинг с целью актуализации приведенных на сайте GIAS.BY данных с интервалом в одну неделю.
Собираемые данные:
• Номер плана закупок
• Наименование предприятия
• УНП
• Наименование в соответствии с кодом ОКРБ 007-2012
• Наименование однородных товаров (работ, услуг)
• Код подвида
• Ориентировочные объемы в натуральном выражении
• Ориентировочная стоимость (цифра)
• Срок (периодичность) проведения
Глубина парсинга – текущий год. С Данными за прошлый год нужно иметь возможность работать.
Блок 2
2.) Система сбора данных по проводимым процедурам закупок которая собирает данные с 3-х сайтов и хранит их в базе данных (http://goszakupki.by/tenders/posted, http://www.icetrade.by/search/auctions?search_text=&search=%D0%9D%D0%B0%D0%B9%D1%82%D0%B8&zakup_type [1]=1&zakup_type[2]=1&auc_num=&okrb=&company_title=&establishment=0.=&created_from=&created_to=&requ est_end_from=&request_end_to=&t[Trade]=1&t[eTrade]=1&t[Request]=1&t[singleSource]=1&t[Auction]=1&t[O ther]=1&t[contractingTrades]=1&t[socialOrder]=1&t[negotiations]=1&r[1]=1&r[2]=2&r[7]=7&r[3]=3&r[4]=4 &r[6]=6&r[5]=5&sort=num%3Adesc&onPage=20, http://zakupki.butb.by/auctions/reestrauctions.html). Система должна собирать данные по предприятиям (УНП) по проводимым закупкам (всем новым) и складывать их в БД. При этом система должна производить цикличный повторный парсинг с целью актуализации приведенных на сайтах данных.
При парсинге должны браться данные:
• Номер процедуры закупки. Номер лота
• Наименование закупки и полное наименование лота
• УНП организатора и наименование
• Наименование в соответствии с кодом ОКРБ
• Ориентировочные объемы в натуральном выражении
• Ориентировочная стоимость (цифра)
• Дата публикации
• Срок(время) подачи предложений
Глубина парсинга – до закупки которая была проверена в предыдущем цикле персинга но не более чем текущий год
Блок 3
3.) Система анализа и учета.
Программа должна осуществлять поиск по данным собранным в блоке 2 и при нахождении закупок соответствующим введенным ключевым словам или кодам ОКРБ немедленно выводить найденные закупки в отчет и сообщать отправкой письма на e-mail.
Программа должна иметь возможность производить учет разницы планов закупок с прошедшими закупками на текущее время (Например: предприятие А планировало закупить 3 услуги по 100 рублей с кодами ОКРБ 001, 002, 003. На сегодня это предприятие купило (объявило закупку) на 2 услуги 001, 003. В отчет по предприятию нам нужно получить, что осталось 002 не купленной, с каким названием, сколько единиц, по какой цене, и в какой срок планировалось закупить)
При этом программа должна учитывать остаток по закупкам которые планировались но не провелись до заданного момента. Система должна производить выборку по ключевым словам (вводимым вручную), описания закупок (предмета) и кодам закупок из закупок приведенных в Блоках 1,2 настоящего задания, с возможностью выбора по периоду планируемых закупок. Система должна иметь возможность выгрузки обработанных данных в файл.
Обязательные требования
Результат работы программиста – web программа, полностью работоспособная, имеющая рабочий интерфейс, автономно работающая и циклично сохраняющая отпарсенную информацию. С возможностью корректировки клчевых слов и интересующих кодов ОКРБ, с возможностью задания настроек по интервалу циклов парсинга по блоку 1 и 2. С возможностью задания e-mail на который будут приходить данные на закупки прошедшие отбор по фильтру включенных слов и кодов.
- Категория
Похожие проекты
$3
0
0
расшифровать или подобрать MD5 Хэш: c74d673f4042bd732ae2a287c059a9ba. начало ответа 8385626820 8385626820. хх....
1 неделя назад
0
0
Cофт для автоматической торговли токенами в сети Solana. На разработку с тестами и устранением багов выделяется 1-2 месяца, при превышении контракт расторгается!...
1 неделя назад
0
5
Необходимо разработать систему, которая: Подключается к API Diagnocat и iDent (через токены доступа). Получает данные о пациенте, результатах диагностики, снимках и назначениях. Автоматически формирует структурированный отчет по шаблону (включая врачей, этапы лечения, стоимость и описание процедур).......
4 месяца назад
0
0
Необходимо связать БД 1C:ERP с БД Outlook, MS Access, Битрикс24. Например при вводе нового сотрудника в 1С:ERP он должен автоматически появляться в вышеперечисленных БД....
5 месяцев назад
0
1
Требуется реализация отчёта на кастомизированной 1С:УПП 1. 2, ТЗ и контрольный пример во вложении, 80% кода должно быть покрыто модульными тестами....
5 месяцев назад
$7
0
2
Мне нужно копировать мой текст и вставлять в одну группу ВК с открытой стеной для публикации рекламы. Задача скрипта/сервиса/программы - примерно каждые 10 секунд брать мой текст и вставлять в эту группу. Я пробовал через одну программу, которая записывает действия мышки и потом повторяет, но она как-то......
7 месяцев назад
0
0
Написать прошивку для A94B114, используя 2 подобные рабочие прошивки. Все файлы есть....
7 месяцев назад
$21
0
2
Нужно разархивировать файл архив. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы(скрины)....
9 месяцев назад
0
1
Входные: Имеется скрипт по обработке email писем и добавление их в систему Redmine Проблема: Система обработки этих писем написана некорректная и негибкая Задача: Переписать логику обработки входящих писем, чтобы исключить их потерю при незначительных отклонениях от ожидаемой структуры....
9 месяцев назад
$37
0
2
- В обязанности сотрудника входит поддержание мобильного приложения системы автоматизации бизнеса. - Работа сдельная: задачи выдаются на оценку, далее после согласования передаются на реализацию. - Заключаем договор и NDA (соглашение о неразглашении)....
9 месяцев назад
$71
0
0
Информация о проекте: Проект включает в себя React Native приложение с Expo внутри которого находится webview с сайтом На устройствах с ОС IOS проблема с воспроизведением видео....
10 месяцев назад
0
0
Разрабатываю десктопные программы на языке Java, а так же Java + SQL....
10 месяцев назад
0
0
0
7
1. Чтобы можно было писать описание события (без заголовка) - превью в списке берется N количества букв с начала. (в списке писать дату события и сколько осталось до него) . Выставление даты и времени напоминания и ИНТЕРВАЛА ПОВТОРА ОТ 1 МИНУТЫ! Выставлять количество повторов, далее напоминания прекращаются.......
11 месяцев назад
0
5
Сайт arg2028t. beget. tech/. Нужно сделать вот такой калькулятор. airprint. by/outdoor/wide-format. и еще некоторые доработки....
11 месяцев назад
$214
0
1
0
8
Краткое описание: Мы ищем исполнителя для тестирования функционала мобильного приложения на платформе Android. Задача включает проверку основных функций приложения, таких как работа комнаты, передача видео, звука и чата, а также создание подробной отчетности о найденных ошибках. Требования к исполнителю:......
1 год назад
0
12
$143
0
1
Oпpocы (1008pyб/чaс) Заходитe на сaйт: gonsù....
1 год назад
0
4
Требуется создать скрипт для premiere pro. Данная суть скрипта: в выделеном бине нужно что бы автоматически проставлялся in out ровно по серидине файла так что бы выделенная область была длиной 3 секунды. И требуется кнопка что бы работало через окно expressions. Проблема текущего в том что он не работает......
1 год назад
0
2
Нужно создать приложения под гемблинг/беттинг, на котлин. Приложение должно работать Firebase. Детали вышлю при обсуждение....
1 год назад
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите