Архив: Написать парсер PHP (цена договорная)
Бюджет
По договоренности
Создан: 7 лет назад
Закрыт
- Описание
- Интересует написание php парсера для сайта:
lootdog.io/buying?sorting...
Для начала опишу задачу как я ее сам вижу:
Необходим сбор данных по каждому из товаров:
1) id – цифра из ссылки продукта, в нашем случае 11439
lootdog.io/product/11439
2) Наименование игры – warface (то есть к какой игре принадлежит игровой предмет)
3) Название предмета – Шлем снайпера "Магма"
4) Количество предметов в продаже
5) Количество проданных предметов за сутки
6) Цена 1, цена 2, цена 3, цена 4, цена 5 – если зайти на страницу игрового предмета, то там есть цены от разных пользователей, в продаже может быть и 100+ единиц товара одного вида, но мне будет достаточно сбор данных по первым 5 верхним. Предмет в продаже может быть и один, тогда само собой собирается одна цена.
7) Время сбора информации по предмету, допустим 21 января 2018 в 17.06 – в последствии чтоб строить графики изменения цен с течением времени.
Данных будет много, поэтому все должно храниться в какой то базе данных. Изначально планировал реализовать все это в Excel, но из за большого количества данных, решил отказаться.
Вот элементарный расчет:
Сейчас в продаже 600 товаров. За один проход парсера собирается 600, если сбор делать каждые 30 минут, то за сутки получится 28800, а за месяц 864000. Я планирую собирать статистику за год – 315,360,000. Такая вот сумма данных, Эксель не потянет. Ещё под вопросом как это будет тянуть база данных.
Настройки парсера:
- возможность изменения частоты парсинга по времени, допустим сегодня я хочу собирать данные каждые 30 минут, завтра – каждый час.
- возможность уведомления (можно на почту) об:
1) пропадании товара из продажи
2) появлении нового товара
3) резком изменении средней цены за период месяц (должно настраиваться хоть месяц, хоть год) на 30 процентов (тоже должна быть настройка чтоб менять 30 процентов скажем на 70 процентов).
Как должно выглядеть это безобразие на мой взгляд:
Конечно мне не нужно 600 одновременных графиков по каждому товару. Но должна быть возможность построения графика динамики цены за период по какому либо выбранному товару и если возможно должна быть возможность выбора допустим 10-15 важных товаров по которым всегда выведены графики. А 16 график допустим я захотел посмотреть динамику по предмету, выбрал его из списка, нажал период – посмотрел.
Планируется отсев неэффективных товаров с течением времени. То есть должен быть список бана товаров, по которым сбор статистики не интересует.
Описал я возможно немного сумбурно, но так я вижу, готов к любой критике, вопросам и предложениям. Написано вроде много, но понимаю что по сути реализация не сложная, в чем я только сомневаюсь, это в размере бд, но ведь как то интернет работает, правда? ;-)
Интересует цена реализации и сроки. Спасибо.
- Категория
Похожие проекты
0
3
Необходимо разработать систему, которая: Подключается к API Diagnocat и iDent (через токены доступа). Получает данные о пациенте, результатах диагностики, снимках и назначениях. Автоматически формирует структурированный отчет по шаблону (включая врачей, этапы лечения, стоимость и описание процедур).......
2 месяца назад
0
0
Необходимо связать БД 1C:ERP с БД Outlook, MS Access, Битрикс24. Например при вводе нового сотрудника в 1С:ERP он должен автоматически появляться в вышеперечисленных БД....
3 месяца назад
0
1
Требуется реализация отчёта на кастомизированной 1С:УПП 1. 2, ТЗ и контрольный пример во вложении, 80% кода должно быть покрыто модульными тестами....
3 месяца назад
$7
0
2
Мне нужно копировать мой текст и вставлять в одну группу ВК с открытой стеной для публикации рекламы. Задача скрипта/сервиса/программы - примерно каждые 10 секунд брать мой текст и вставлять в эту группу. Я пробовал через одну программу, которая записывает действия мышки и потом повторяет, но она как-то......
5 месяцев назад
0
0
Написать прошивку для A94B114, используя 2 подобные рабочие прошивки. Все файлы есть....
6 месяцев назад
$21
0
2
Нужно разархивировать файл архив. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы(скрины)....
7 месяцев назад
0
1
Входные: Имеется скрипт по обработке email писем и добавление их в систему Redmine Проблема: Система обработки этих писем написана некорректная и негибкая Задача: Переписать логику обработки входящих писем, чтобы исключить их потерю при незначительных отклонениях от ожидаемой структуры....
7 месяцев назад
$37
0
1
- В обязанности сотрудника входит поддержание мобильного приложения системы автоматизации бизнеса. - Работа сдельная: задачи выдаются на оценку, далее после согласования передаются на реализацию. - Заключаем договор и NDA (соглашение о неразглашении)....
7 месяцев назад
$71
0
0
Информация о проекте: Проект включает в себя React Native приложение с Expo внутри которого находится webview с сайтом На устройствах с ОС IOS проблема с воспроизведением видео....
8 месяцев назад
0
0
Разрабатываю десктопные программы на языке Java, а так же Java + SQL....
8 месяцев назад
0
0
0
6
1. Чтобы можно было писать описание события (без заголовка) - превью в списке берется N количества букв с начала. (в списке писать дату события и сколько осталось до него) . Выставление даты и времени напоминания и ИНТЕРВАЛА ПОВТОРА ОТ 1 МИНУТЫ! Выставлять количество повторов, далее напоминания прекращаются.......
9 месяцев назад
0
4
Сайт arg2028t. beget. tech/. Нужно сделать вот такой калькулятор. airprint. by/outdoor/wide-format. и еще некоторые доработки....
9 месяцев назад
$214
0
1
0
7
Краткое описание: Мы ищем исполнителя для тестирования функционала мобильного приложения на платформе Android. Задача включает проверку основных функций приложения, таких как работа комнаты, передача видео, звука и чата, а также создание подробной отчетности о найденных ошибках. Требования к исполнителю:......
10 месяцев назад
0
12
$143
0
0
Oпpocы (1008pyб/чaс) Заходитe на сaйт: gonsù....
11 месяцев назад
0
4
Требуется создать скрипт для premiere pro. Данная суть скрипта: в выделеном бине нужно что бы автоматически проставлялся in out ровно по серидине файла так что бы выделенная область была длиной 3 секунды. И требуется кнопка что бы работало через окно expressions. Проблема текущего в том что он не работает......
11 месяцев назад
0
2
Нужно создать приложения под гемблинг/беттинг, на котлин. Приложение должно работать Firebase. Детали вышлю при обсуждение....
11 месяцев назад
$21
0
4
Нужно разархивировать файл archive. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы ....
1 год назад
0
3
Разработать впн сервис ( Приложения на ios и android + сайт для оплаты подписки). Настройка Серверов. Оплата по договоренности. Работаем черед безопасную сделку....
1 год назад
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите