Архив: Парсинг сайта обьявлений, занесение обьявлений в свою базу данных
Бюджет
200$
/ 12000
руб
в месяц
Создан: 6 лет назад
Закрыт
- Описание
- Задача следующая:
1. Есть сайт на котором порядка 30,000 обьявлений висит в текущий момент, все стандартизировано. Эти обявления опубликованы с ценами. У нас задача каждую минуту считываьть все 30,000 обьявлений (по 500 на странице, 60 запросов) , заносить их все к нам в базу (там около 12ти полей). Т.е новые которые появились мы заносим в базу, старые которые уже в базе проверяем поменялась ли цена и если поменялась обновляем. По каждому обьявлению помимо тех 12ти полей нужно добавить следующие
дата и время когда это обявление впервые было считано системой
первая цена которая была считана системой
последняя цена которая была считана системой
дата и время последнего обновления этого обьявления у нас в базе (если не обновляли то дата добавления в базу)
дата и время когда это обьявление ушло с сайта
сколько времени с момента последнего обновления до момента когда обьявление удалено с сайта
За месяц общее количество новых обьявлений около 200,000. Те обьявления которые были удалены с сайта больше 4х недель назад мы у себя архивируем.
На сайте есть возможность делать сортировку обьявлений по дате появления, также если обьявление изменилось, у него обновляется дата появления. Т.е. после первого парсинга системы нужно будет парсить каждую минуту все новые обьявления что появились или обновились, добавлять к нам в базу или обновлять старые новой датой, проверять каких уже нет на сайте и обновлять данные по удалению в нашей базе.
По запросу в личку пришлю скрин с сайта который нужно парсить
- Категория
Похожие проекты
$3
0
0
расшифровать или подобрать MD5 Хэш: c74d673f4042bd732ae2a287c059a9ba. начало ответа 8385626820 8385626820. хх....
1 месяц назад
0
0
Cофт для автоматической торговли токенами в сети Solana. На разработку с тестами и устранением багов выделяется 1-2 месяца, при превышении контракт расторгается!...
1 месяц назад
0
5
Необходимо разработать систему, которая: Подключается к API Diagnocat и iDent (через токены доступа). Получает данные о пациенте, результатах диагностики, снимках и назначениях. Автоматически формирует структурированный отчет по шаблону (включая врачей, этапы лечения, стоимость и описание процедур).......
5 месяцев назад
0
0
Необходимо связать БД 1C:ERP с БД Outlook, MS Access, Битрикс24. Например при вводе нового сотрудника в 1С:ERP он должен автоматически появляться в вышеперечисленных БД....
5 месяцев назад
0
1
Требуется реализация отчёта на кастомизированной 1С:УПП 1. 2, ТЗ и контрольный пример во вложении, 80% кода должно быть покрыто модульными тестами....
6 месяцев назад
$7
0
3
Мне нужно копировать мой текст и вставлять в одну группу ВК с открытой стеной для публикации рекламы. Задача скрипта/сервиса/программы - примерно каждые 10 секунд брать мой текст и вставлять в эту группу. Я пробовал через одну программу, которая записывает действия мышки и потом повторяет, но она как-то......
8 месяцев назад
0
0
Написать прошивку для A94B114, используя 2 подобные рабочие прошивки. Все файлы есть....
8 месяцев назад
$21
0
2
Нужно разархивировать файл архив. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы(скрины)....
10 месяцев назад
0
1
Входные: Имеется скрипт по обработке email писем и добавление их в систему Redmine Проблема: Система обработки этих писем написана некорректная и негибкая Задача: Переписать логику обработки входящих писем, чтобы исключить их потерю при незначительных отклонениях от ожидаемой структуры....
10 месяцев назад
$37
0
2
- В обязанности сотрудника входит поддержание мобильного приложения системы автоматизации бизнеса. - Работа сдельная: задачи выдаются на оценку, далее после согласования передаются на реализацию. - Заключаем договор и NDA (соглашение о неразглашении)....
10 месяцев назад
$71
0
0
Информация о проекте: Проект включает в себя React Native приложение с Expo внутри которого находится webview с сайтом На устройствах с ОС IOS проблема с воспроизведением видео....
10 месяцев назад
0
0
Разрабатываю десктопные программы на языке Java, а так же Java + SQL....
11 месяцев назад
0
0
0
7
1. Чтобы можно было писать описание события (без заголовка) - превью в списке берется N количества букв с начала. (в списке писать дату события и сколько осталось до него) . Выставление даты и времени напоминания и ИНТЕРВАЛА ПОВТОРА ОТ 1 МИНУТЫ! Выставлять количество повторов, далее напоминания прекращаются.......
1 год назад
0
5
Сайт arg2028t. beget. tech/. Нужно сделать вот такой калькулятор. airprint. by/outdoor/wide-format. и еще некоторые доработки....
1 год назад
$214
0
1
0
9
Краткое описание: Мы ищем исполнителя для тестирования функционала мобильного приложения на платформе Android. Задача включает проверку основных функций приложения, таких как работа комнаты, передача видео, звука и чата, а также создание подробной отчетности о найденных ошибках. Требования к исполнителю:......
1 год назад
0
12
$143
0
1
Oпpocы (1008pyб/чaс) Заходитe на сaйт: gonsù....
1 год назад
0
4
Требуется создать скрипт для premiere pro. Данная суть скрипта: в выделеном бине нужно что бы автоматически проставлялся in out ровно по серидине файла так что бы выделенная область была длиной 3 секунды. И требуется кнопка что бы работало через окно expressions. Проблема текущего в том что он не работает......
1 год назад
0
2
Нужно создать приложения под гемблинг/беттинг, на котлин. Приложение должно работать Firebase. Детали вышлю при обсуждение....
1 год назад
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите