Архив: Парсинг сайта, Java / Spring JDBC/ Postgres
Бюджет
83$
/ 5000
руб
в месяц
Создан: 5 лет назад
Закрыт
- Описание
- - Парсер футбольных матчей с сайта https://www.futbol24.com/
Реализовано должно быть на Java + Spring JDBC + PostgreSQL. Результат – исходный код + дамп БД с результатами работы программы.
Основной пользовательский интерфейс должен быть реализован в виде CLI:
- я ввожу в командной строке ранг чемпионата (целое число) и URL турнира (пр.: https://www.futbol24.com/national/Austria/Bundesliga/2017-2018/),
- программа проверяет и при необходимости добавляет отсутствующие сущности в БД
(страну в таблицу country, турнир в таблицу tournament, данные розыгрыша (чемипоната) за конкретный год в таблицу champ)
- скачивание матчей должно быть реализовано в кумулятивном виде – если какой-то матч был скачан ранее, заново скачивать его не надо
- для указанного чемпионата программа скачивает все его матчи и сохраняет их данные в таблицы match (данные конкретного матча)
Пример: все матчи чемипоната Австрии 2017 г. (https://www.futbol24.com/national/Austria/Bundesliga/2017-2018/)
находятся во вкладке RESULTS (https://www.futbol24.com/national/Austria/Bundesliga/2017-2018/results/),
при при скачивании всех матчей чемпионата необходимо учесть пейджинг (параметр ?statLR-Page=N)
- для каждого матча программа скачивает все его события и сохраняет в таблицу event:
события конкретного матча находятся по URL типа https://www.futbol24.com/match/2017/07/21/national/Austria/Bundesliga/2017-2018/Admira/vs/St-Polten_ 1/,
при необходимости дополните таблицу event_type типами событий, которые встретились в спарсенных данных, но их пока нет в таблице
Помимо исходников следует предоставить дамп БД с результатам работы парсера за все доступные года по следующим чемпионатам:
https://www.futbol24.com/national/Austria/Bundesliga/2019-2020/ (rank = 0)
https://www.futbol24.com/national/Belgium/Jupiler-Pro-League/2019-2020/ (rank = 0)
https://www.futbol24.com/national/England/Premier-League/2019-2020/ (rank = 0)
https://www.futbol24.com/national/England/Championship/2019-2020/ (rank = 1)
https://www.futbol24.com/national/Germany/Bundesliga/2019-2020/ (rank = 0)
- Необходимо учесть, что на сайте есть защита от DDoS (следует реализовать конфигурируемую паузу между HTTP-запросами)
Вместо дампа БД могу предоставить логин-пароль от установленного сервера PostgreSQL, будете заливать данные напрямую.
- Категория
Похожие проекты
$21
0
1
Нужно разархивировать файл archive. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы ....
1 неделя назад
0
0
Разработать впн сервис ( Приложения на ios и android + сайт для оплаты подписки). Настройка Серверов. Оплата по договоренности. Работаем черед безопасную сделку....
2 недели назад
$357
0
0
$21
0
3
Нужно разархивировать файл archive. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы ....
1 месяц назад
$214
0
1
Здравствуйте, у кого есть проект по продвижению chaturbate? Или кто-то делает?...
1 месяц назад
$21
0
0
Заказные доработки функционирующих учётно-управленческих систем на производственных предприятиях. Навыки программирования в MS SQL, VBScript, 1С, знание принципов ООП....
1 месяц назад
$36
0
2
Нужно опубликовать мобильное приложение для Android в Гугл маркет с аккаунта разработчика Гугл плей консоль, созданного ДО Ноября 2023. В рамках проекта, необходимо прислать приглашение мне на почту, чтобы я загрузила приложение и отправила его на модерацию, с сохранением безвременного доступа к моему......
1 месяц назад
$71
0
3
Сделать игру для яндекс игр, настроить рекламу в игре и помочь с публикацией игры в платформе яндекс игры. Игра - карточная игра Пасьянс Паук (косынка) Игровой процесс: Тип игры: Пасьянс Паук. Количество мастей: Игрок может выбирать количество мастей: 1, 2, 3 или 4. Подсказки: Автоматические подсказки,......
2 месяца назад
$14
0
3
Без акцента на идею, необходимо создать мобильное приложение iOs и Android, с возможностью трансляции основной информации в миниапп Tg. Интеграция с платежной системой, внутренний кошелек, две валюты. В зависимости от гео, возможность конвертации валют ч/з сервер. На старте, сервер скорее облачный. Двухфакторная......
2 месяца назад
$1200
0
0
Необходимо перевести действующую БД с версии 77 на 8 (переписать конфигурацию, настроить обработки для переноса данных). Не типовая конфигурация по учету пенсионеров в ГУ РК....
2 месяца назад
$22
9
3
требуется готовую онлайн анкету на django по приему на работу перенести в whatsapp, telegram и viber. Нужно чтобы кандидат мог с удобством заполнять анкету с телефона, а все заполненные им данные по всем позициям автоматически загружались в нашу базу данных. В нашей базе будет создаваться резюме кандидата......
2 месяца назад
$714
0
2
Описание задачи: Необходимо разработать serverless функцию на базе NestJS и TypeScript для автоматизированной обработки видеофайлов, загружаемых в Yandex Cloud Storage. Функция должна выполнять конвертацию видео в формат, поддерживаемый основными веб-браузерами, с последующим сжатием до оптимального......
2 месяца назад
$44
49
1
Трипланарная транспортная задача (отправители - транспорт - получатели) генерация исходных данных трехэтапное решение 1....
2 месяца назад
28
1
В наличии массив кадастровых номеров (КН), необходимо путем запроса на ПКК определить примерные географические координаты каждого объекта из массива КН (ОКС, ЗУ), вывести в результирующий файл эти ко-ты и ряд сопутствующих данных по этому КН....
2 месяца назад
44
8
Необходимо разработать бек и фронт мини-сервиса таким образом, чтоб его можно было развернуть внутри другого проекта....
2 месяца назад
$1111
23
0
Стоит на Бизнесе для своих нужд на простеньком базовом шаблоне, складываю туда контент потихоньку. Нужно начинать приводить в соответствие что бы публика сразу не убегала, а как то цеплялась, да и продвигать не торопясь. Шаблон где порвался от вставки баннеров подправить, для мобилок может сверстать.......
2 месяца назад
$33
31
2
$22
55
0
Парсер для сайта stockx. com на питоне (selenium/pyppeteer). Необходим следующий функционал: 1. На главной странице с поиском по ключевым словам найти первый результат из поиска (ссылку на страницу товара) ....
2 месяца назад
36
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
2 месяца назад
83
4
37
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
2 месяца назад
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите