Архив: Спарсить описания файлов драйверов с сайта производителя
Бюджет
25$
/ 1500
руб
в месяц
Создан: 5 лет назад
Закрыт
- Описание
- Нужно спарсить данные с сайта производителя оборудования используя инфраструктуру модуля на Yii2. Скелетон модуля с рабочим примером для AMD.
www.amd.com/en/support/
Интересуют все производители присутствующие на рынке. Сейчас в топе на выбор
www.asrock.com/support/in...
www.dell.com/support/home...
support.hp.com/ru-ru/driv...
support.razer.com/
# Задача
Нужно обойти весь каталог и собрать всю структуру до страницы конечного продукта и файлов к нему.
На выходе нужно иметь возможность ассоциации файлов по критериям:
- Тип оборудования
- Операционная система Разрядность ОС
- Серия
- Модель
Последовательность запросов на примере HP:
support.hp.com/ru-ru/prod...
support.hp.com/ru-ru/prod...
support.hp.com/ru-ru/prod...
support.hp.com/ru-ru/prod...
support.hp.com/ru-ru/driv...
# Описание
Модуль состоит из двух частей
1. Парсер и сохранение информации в БД
2. Админка ассоциации данных
Для упрощения развёртывания используется vagrant. Система контроля версий Git.
## Требования к парсеру
1. Консольные команды сущностей разделены, если это возможно. Категории, страницы продукта, список файлов – это три разные консольные команды
2. Повторный запуск команды не приводит к удалению информации, а лишь обновляет её. Особенно это важно по хранению сущностей основного проекта
3. Все данные получаемые от производителя кэшируется "как есть", это позволяет перенастраивать парсер без необходимости повторной закачки данных
4. Чтобы парсинг данных можно было легко перенастраивать для разбора используется DOM модель документа
```
./yii parser-amd/parse/tree
./yii parser-amd/parse/files
./yii parser-amd/parse/operation-system
```
## Требования к админке
1. Реализовать ассоциации сущностей: типы оборудования, операционные системы, типы файлов, серии продукта, продукты
2. Типы оборудования и серии на выводе сводить к дереву
## Зависимости и технический стек
* php = 7.2
* mariadb = 10.2
* Yii 2.15.0
# Что уже решено в скелетоне
0. Тестовый рабочий код на примере парсера AMD
1. Организация и подключение модуля Yii2
2. Обертка для работы с DOM делающая работу с DOM удобнее. github.com/bezdelnique/pa...
3. Все взаимодействие с источником данных вынесено в отдельный класс: `helpers/Downloader.php`
4. Реализация массовых вставок в БД с сохранением данных при помощи класса `EntitiyBulk`
5. В админке реализован ассоциатор для дерева категорий и остальных сущностей
Если хотите ознакомиться со скелетоном пришлите ваш логин bitbucket.org
Подробное описание требований и описание как развернуть проект
gist.github.com/bezdelniq...
- Категория
Похожие проекты
$33
10
0
Мне нужен бот перехватчик для программы ( taxsee driver ) чтобы брать предварительные и текущие заказы. Требования: . 1 бот перехватчик нужен для android. 2 можно писать bоt под моим аккаунтом или другие варианты. 3 функция отключения и включения бота когда он нужен или не нужен. За хорошую работу готов......
1 год назад
11
0
Нужен сайт по открытию кейсов для игры Standoff 2. Нужен самый обычный дизайн. Личный кабинет, инвентарь, авторизация через ВК. В Админке должна быть возможность создавать/удалять кейсы, редактировать шансы на выпадение какого-либо дропа, количество кейсов, устанавливать цену. В Админке должна быть возможность......
1 год назад
$22
27
0
76
1
Ищу фрилансера для создания лендингов на Битрикс24. Занятость постоянная, 1 раз в 3 месяца....
1 год назад
138
1
Обменник криптовалют ( ТЗ во вложении)....
1 год назад
498
3
Необходимо написать небольшую серверную часть учебного сайта для запуска под виртуальной машиной Oracle VM VirtualBox Debian 6. 1 используя php7. 33 и базу MongoDB....
1 год назад
134
3
ИЩУ СПЕЦОВ – ВЫСОКОГО УРОВНЯ! 1). Уточните, какое у вас образование. 2). Обязательно предоставьте портфолио - лучшие работы. 3). Условия сотрудничества – по договоренности (сообщите ваши предварительные условия). П. все предложения, которые меня заинтересуют – либо отвечу, либо сохраню контакты в......
1 год назад
$111
122
2
Добрый день заинтересовавшимся! У нас сайт на стадии разработки на ОС 3. Создано ТЗ. Необходимо выполнить все пункты в ТЗ. Предварительно 10 000 руб. Поднятие цены можно и обсудить....
1 год назад
89
1
Нужно будет делать видео по примеру уже готового видео. Вы подойдете если : имеете базовые-легкие знания в трейдинге,если у вас хороший микрофон, нормальная дикция, и есть программа для снятия экрана на видео. (Себя снимать не нужно,только видео экрана) Чем выше качество тем выше оплата . Оплата за среднее......
1 год назад
198
11
Ищем специалиста для работы над дизайном агенства недвижимости для англоязычной аудитории....
1 год назад
174
16
Добрый день. Мне необходимо скопировать действующий сайт с полным функционалом https://gk-grupp....
1 год назад
$1000
286
5
TALP GROUP Мы занимаемся разработкой и продвижением IT- продуктов. В нашем арсенале множество интересных кейсов, большинство из которых реализованы на нашей собственной low/no code платформе Аltrp. Мы работаем как над внутренними проектами, так и с внешними заказчиками. Среди них: разработка швейцарской......
2 года назад
109
1
Меняли хостинг сайта поэтому имена сервера слетели, надо поменять на новые и все....
2 года назад
$250
315
12
Разработка продающего лендинга, ТЗ во вложенных файлах....
2 года назад
$7
144
2
Фотографии улыбок до стоматологического лечения и после. Нужно из сопоставит а схожих ракурсах и выровнить цвет , скореекситровать детали....
2 года назад
164
4
140
1
есть форма приема заявки на тильде, необходимо проверять номер телефона заказчика перед отправкой в работу....
2 года назад
$63
147
3
Нужно поднять сайт на базовой теме на связке Ghost + Gatsby + CDN. Саму CMS Ghost надо будет поставить и настроить на хостинге заказав необходимый по параметрам сервер. Что касается CDN думал о G Core Labs, но приму любой совет. Сайт ориентирован 100% на РФ. После того как поднимем сайт, нужно будет......
2 года назад
228
3
Необходимо доработать WordPress шаблон, настроить интеграцию с 1с, исправить незначительные баги. Технические задачи обсудим вместе с техническими директором заказчика. Условия: Стоимость работ от 14к, в случае быстрого выполнения работы будет премирование, а также предложим постоянное сотрудничество.......
2 года назад
101
1
Необходимо решить проблему с передачей UTM меток, glid, glientID, ymclid в amoCRM при начале диалога в одном из мессенджеров и входящем письме на почту....
2 года назад
$900
160
4
Разыскивается опытный программист на WordPress. Нужно допилить торговую площадка B2B на WordPress согласно аналогу. Подробнее в личной переписке. Просьба дилетантов и не понимающих не беспокоить....
2 года назад
Перетащите