Архив: Спарсить описания файлов драйверов с сайта производителя
Бюджет
30$
в месяц
Создан: 6 лет назад
Закрыт
- Описание
- Нужно спарсить данные с сайта производителя оборудования используя инфраструктуру модуля на Yii2. Скелетон модуля с рабочим примером для AMD.
https://www.amd.com/en/support/
Интересуют все производители присутствующие на рынке. Сейчас в топе на выбор
https://www.asrock.com/support/index.asp
https://www.dell.com/support/home/ru/ru/rubsdt1/Products?~ck=mn
https://support.hp.com/ru-ru/drivers
https://support.razer.com/
# Задача
Нужно обойти весь каталог и собрать всю структуру до страницы конечного продукта и файлов к нему.
На выходе нужно иметь возможность ассоциации файлов по критериям:
- Тип оборудования
- Операционная система \ Разрядность ОС
- Серия
- Модель
Последовательность запросов на примере HP:
https://support.hp.com/ru-ru/products
https://support.hp.com/ru-ru/products/gaming
https://support.hp.com/ru-ru/products/gaming/omen-accessories
https://support.hp.com/ru-ru/product/omen-by-hp-mouse-with-steelseries/12733342
https://support.hp.com/ru-ru/drivers/selfservice/omen-by-hp-mouse-with-steelseries/12733342
# Описание
Модуль состоит из двух частей
1. Парсер и сохранение информации в БД
2. Админка ассоциации данных
Для упрощения развёртывания используется vagrant. Система контроля версий Git.
## Требования к парсеру
1. Консольные команды сущностей разделены, если это возможно. Категории, страницы продукта, список файлов - это три разные консольные команды
2. Повторный запуск команды не приводит к удалению информации, а лишь обновляет её. Особенно это важно по хранению сущностей основного проекта
3. Все данные получаемые от производителя кэшируется "как есть", это позволяет перенастраивать парсер без необходимости повторной закачки данных
4. Чтобы парсинг данных можно было легко перенастраивать для разбора используется DOM модель документа
```
./yii parser-amd/parse/tree
./yii parser-amd/parse/files
./yii parser-amd/parse/operation-system
```
## Требования к админке
1. Реализовать ассоциации сущностей: типы оборудования, операционные системы, типы файлов, серии продукта, продукты
2. Типы оборудования и серии на выводе сводить к дереву
## Зависимости и технический стек
* php >= 7.2
* mariadb >= 10.2
* Yii > 2.15.0
# Что уже решено в скелетоне
0. Тестовый рабочий код на примере парсера AMD
1. Организация и подключение модуля Yii2
2. Обертка для работы с DOM делающая работу с DOM удобнее. https://github.com/bezdelnique/parser-toolbox
3. Все взаимодействие с источником данных вынесено в отдельный класс: `helpers/Downloader.php`
4. Реализация массовых вставок в БД с сохранением данных при помощи класса `EntitiyBulk`
5. В админке реализован ассоциатор для дерева категорий и остальных сущностей
Если хотите ознакомиться со скелетоном пришлите ваш логин bitbucket.org
Подробное описание требований и описание как развернуть проект
https://gist.github.com/bezdelnique/9371e0fe2f2dd954f5927dfe40dd0a17
- Категория
Похожие проекты
0
3
Необходимо разработать систему, которая: Подключается к API Diagnocat и iDent (через токены доступа). Получает данные о пациенте, результатах диагностики, снимках и назначениях. Автоматически формирует структурированный отчет по шаблону (включая врачей, этапы лечения, стоимость и описание процедур).......
2 месяца назад
0
0
Необходимо связать БД 1C:ERP с БД Outlook, MS Access, Битрикс24. Например при вводе нового сотрудника в 1С:ERP он должен автоматически появляться в вышеперечисленных БД....
3 месяца назад
0
1
Требуется реализация отчёта на кастомизированной 1С:УПП 1. 2, ТЗ и контрольный пример во вложении, 80% кода должно быть покрыто модульными тестами....
3 месяца назад
$7
0
2
Мне нужно копировать мой текст и вставлять в одну группу ВК с открытой стеной для публикации рекламы. Задача скрипта/сервиса/программы - примерно каждые 10 секунд брать мой текст и вставлять в эту группу. Я пробовал через одну программу, которая записывает действия мышки и потом повторяет, но она как-то......
5 месяцев назад
0
0
Написать прошивку для A94B114, используя 2 подобные рабочие прошивки. Все файлы есть....
5 месяцев назад
$21
0
2
Нужно разархивировать файл архив. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы(скрины)....
7 месяцев назад
0
1
Входные: Имеется скрипт по обработке email писем и добавление их в систему Redmine Проблема: Система обработки этих писем написана некорректная и негибкая Задача: Переписать логику обработки входящих писем, чтобы исключить их потерю при незначительных отклонениях от ожидаемой структуры....
7 месяцев назад
$37
0
1
- В обязанности сотрудника входит поддержание мобильного приложения системы автоматизации бизнеса. - Работа сдельная: задачи выдаются на оценку, далее после согласования передаются на реализацию. - Заключаем договор и NDA (соглашение о неразглашении)....
7 месяцев назад
$71
0
0
Информация о проекте: Проект включает в себя React Native приложение с Expo внутри которого находится webview с сайтом На устройствах с ОС IOS проблема с воспроизведением видео....
8 месяцев назад
0
0
Разрабатываю десктопные программы на языке Java, а так же Java + SQL....
8 месяцев назад
0
0
0
6
1. Чтобы можно было писать описание события (без заголовка) - превью в списке берется N количества букв с начала. (в списке писать дату события и сколько осталось до него) . Выставление даты и времени напоминания и ИНТЕРВАЛА ПОВТОРА ОТ 1 МИНУТЫ! Выставлять количество повторов, далее напоминания прекращаются.......
9 месяцев назад
0
4
Сайт arg2028t. beget. tech/. Нужно сделать вот такой калькулятор. airprint. by/outdoor/wide-format. и еще некоторые доработки....
9 месяцев назад
$214
0
1
0
7
Краткое описание: Мы ищем исполнителя для тестирования функционала мобильного приложения на платформе Android. Задача включает проверку основных функций приложения, таких как работа комнаты, передача видео, звука и чата, а также создание подробной отчетности о найденных ошибках. Требования к исполнителю:......
10 месяцев назад
0
12
$143
0
0
Oпpocы (1008pyб/чaс) Заходитe на сaйт: gonsù....
11 месяцев назад
0
4
Требуется создать скрипт для premiere pro. Данная суть скрипта: в выделеном бине нужно что бы автоматически проставлялся in out ровно по серидине файла так что бы выделенная область была длиной 3 секунды. И требуется кнопка что бы работало через окно expressions. Проблема текущего в том что он не работает......
11 месяцев назад
0
2
Нужно создать приложения под гемблинг/беттинг, на котлин. Приложение должно работать Firebase. Детали вышлю при обсуждение....
11 месяцев назад
$21
0
4
Нужно разархивировать файл archive. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы ....
1 год назад
0
3
Разработать впн сервис ( Приложения на ios и android + сайт для оплаты подписки). Настройка Серверов. Оплата по договоренности. Работаем черед безопасную сделку....
1 год назад
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите