Архив: Спарсить описания файлов драйверов с сайта производителя
Бюджет
25$
/ 1500
руб
в месяц
Создан: 6 лет назад
Закрыт
- Описание
- Нужно спарсить данные с сайта производителя оборудования используя инфраструктуру модуля на Yii2. Скелетон модуля с рабочим примером для AMD.
www.amd.com/en/support/
Интересуют все производители присутствующие на рынке. Сейчас в топе на выбор
www.asrock.com/support/in...
www.dell.com/support/home...
support.hp.com/ru-ru/driv...
support.razer.com/
# Задача
Нужно обойти весь каталог и собрать всю структуру до страницы конечного продукта и файлов к нему.
На выходе нужно иметь возможность ассоциации файлов по критериям:
- Тип оборудования
- Операционная система Разрядность ОС
- Серия
- Модель
Последовательность запросов на примере HP:
support.hp.com/ru-ru/prod...
support.hp.com/ru-ru/prod...
support.hp.com/ru-ru/prod...
support.hp.com/ru-ru/prod...
support.hp.com/ru-ru/driv...
# Описание
Модуль состоит из двух частей
1. Парсер и сохранение информации в БД
2. Админка ассоциации данных
Для упрощения развёртывания используется vagrant. Система контроля версий Git.
## Требования к парсеру
1. Консольные команды сущностей разделены, если это возможно. Категории, страницы продукта, список файлов – это три разные консольные команды
2. Повторный запуск команды не приводит к удалению информации, а лишь обновляет её. Особенно это важно по хранению сущностей основного проекта
3. Все данные получаемые от производителя кэшируется "как есть", это позволяет перенастраивать парсер без необходимости повторной закачки данных
4. Чтобы парсинг данных можно было легко перенастраивать для разбора используется DOM модель документа
```
./yii parser-amd/parse/tree
./yii parser-amd/parse/files
./yii parser-amd/parse/operation-system
```
## Требования к админке
1. Реализовать ассоциации сущностей: типы оборудования, операционные системы, типы файлов, серии продукта, продукты
2. Типы оборудования и серии на выводе сводить к дереву
## Зависимости и технический стек
* php = 7.2
* mariadb = 10.2
* Yii 2.15.0
# Что уже решено в скелетоне
0. Тестовый рабочий код на примере парсера AMD
1. Организация и подключение модуля Yii2
2. Обертка для работы с DOM делающая работу с DOM удобнее. github.com/bezdelnique/pa...
3. Все взаимодействие с источником данных вынесено в отдельный класс: `helpers/Downloader.php`
4. Реализация массовых вставок в БД с сохранением данных при помощи класса `EntitiyBulk`
5. В админке реализован ассоциатор для дерева категорий и остальных сущностей
Если хотите ознакомиться со скелетоном пришлите ваш логин bitbucket.org
Подробное описание требований и описание как развернуть проект
gist.github.com/bezdelniq...
- Категория
Похожие проекты
$71
0
0
Всем привет! Необходимо разработать лендинг на платформе Salebot. Лендинг будет в стиле визитка для кофейни. Интересует именно данная платформа, так как многие мои услуги сделаны именно там....
2 недели назад
0
0
Ищу клиента для создания учебного проекта и оформления портфолио бесплатно или за символическую сумму....
4 недели назад
$500
0
3
Мы ищем fullstack разработчика, который может сделать сайт под ключ. Есть детальное ТЗ, обязатедбное к ознакомлению и наработки по дизайну в виде макета Figma....
2 месяца назад
$120
0
4
Должно быть у исполнителя готовое и грамотно сделанное портфолио....
3 месяца назад
11
1
Нужен сайт по открытию кейсов для игры Standoff 2. Нужен самый обычный дизайн. Личный кабинет, инвентарь, авторизация через ВК. В Админке должна быть возможность создавать/удалять кейсы, редактировать шансы на выпадение какого-либо дропа, количество кейсов, устанавливать цену. В Админке должна быть возможность......
4 месяца назад
0
5
Требуется веб дизайнер для 2х проектов:. Оптимизации существующего сайта (лендинг) по танцевальному фитнесу на wix. com. Создание онлайн магазина био добавок и его оптимизация. Ищем профессионального дизайнера, который готов на долгосрочное сотрудничество....
4 месяца назад
0
2
Нужно сделать сайт просчет оффера. Верстка страницы с Figma....
4 месяца назад
$33
10
1
Мне нужен бот перехватчик для программы ( taxsee driver ) чтобы брать предварительные и текущие заказы. Требования: . 1 бот перехватчик нужен для android. 2 можно писать bоt под моим аккаунтом или другие варианты. 3 функция отключения и включения бота когда он нужен или не нужен. За хорошую работу готов......
4 месяца назад
$22
27
2
76
1
Ищу фрилансера для создания лендингов на Битрикс24. Занятость постоянная, 1 раз в 3 месяца....
4 месяца назад
138
2
Обменник криптовалют ( ТЗ во вложении)....
4 месяца назад
498
6
Необходимо написать небольшую серверную часть учебного сайта для запуска под виртуальной машиной Oracle VM VirtualBox Debian 6. 1 используя php7. 33 и базу MongoDB....
4 месяца назад
134
7
ИЩУ СПЕЦОВ – ВЫСОКОГО УРОВНЯ! 1). Уточните, какое у вас образование. 2). Обязательно предоставьте портфолио - лучшие работы. 3). Условия сотрудничества – по договоренности (сообщите ваши предварительные условия). П. все предложения, которые меня заинтересуют – либо отвечу, либо сохраню контакты в......
4 месяца назад
89
1
Нужно будет делать видео по примеру уже готового видео. Вы подойдете если : имеете базовые-легкие знания в трейдинге,если у вас хороший микрофон, нормальная дикция, и есть программа для снятия экрана на видео. (Себя снимать не нужно,только видео экрана) Чем выше качество тем выше оплата . Оплата за среднее......
4 месяца назад
$111
122
2
Добрый день заинтересовавшимся! У нас сайт на стадии разработки на ОС 3. Создано ТЗ. Необходимо выполнить все пункты в ТЗ. Предварительно 10 000 руб. Поднятие цены можно и обсудить....
4 месяца назад
$1000
286
5
TALP GROUP Мы занимаемся разработкой и продвижением IT- продуктов. В нашем арсенале множество интересных кейсов, большинство из которых реализованы на нашей собственной low/no code платформе Аltrp. Мы работаем как над внутренними проектами, так и с внешними заказчиками. Среди них: разработка швейцарской......
4 месяца назад
174
17
Добрый день. Мне необходимо скопировать действующий сайт с полным функционалом https://gk-grupp....
4 месяца назад
198
12
Ищем специалиста для работы над дизайном агенства недвижимости для англоязычной аудитории....
4 месяца назад
109
2
Меняли хостинг сайта поэтому имена сервера слетели, надо поменять на новые и все....
4 месяца назад
$250
315
17
Разработка продающего лендинга, ТЗ во вложенных файлах....
4 месяца назад
164
6
Перетащите