Парсер avito
Бюджет
333$
/ 20000
руб
в месяц
Создан: 2 года назад
На модерации
- Описание
- Я загрузаю в парсер ссылку вида:
www.avito.ru/moskva_i_mo/...
Я таких грузить буду несколько , от 1-10
ПЕРВЫЙ ЭТАП:
Перейдя по этой ссылке на странице нам покажет 45-50 обьявлений, когда я загружаю вот эти ссылки я должен указать глубину сколько страниц по каждой будем собирать
например я загрузил:
www.avito.ru/moskva_i_mo/... ГЛУБИНА 5
www.avito.ru/moskva_i_mo/... ГЛУБИНА 5
Парсер переходит по каждой из этих ссылок + через конструктор строит переход на 2-3-4-5 страницы, собирает ссылки на все обьявления оттуда.
То есть первый этап это сбор ссылок на обьявлений через ссылки для сбора
ВТОРОЙ ЭТАП:
Скрипт должен переходить по каждой обьяве и в следующем алгоритме чекать:
Сначало он смотрит на количество просмотров обьявления, там 2 цифры
Первая значит просмотров сегодня, вторая значит просмотров всего, мне нужны обьявы только сегодняшние, значит эти 2 числа должны совпадать. Если он чекает что просмотров сегодня и просмотров всего совпадает, мы такое обьявление берем в работу, собираем с него следующую информацию:
Название, цена, ссылка ( Вывод в ексель будет нужен офк)
Далее в такой обьяве нужно загрузить профиль продавца, ссылка на него так же будет в коде ссылки обьявления ее можно спарсить. с профиля продавца нам нужна следующая информация:
Количество активных обьявлений и количество завершенных обьявлений. Далее вывод в ексель
Заголовок объявления – цена – ссылка на объявление – активных обьяв – завершенных обьяв
ТАК ЖЕ ПАРСЕР ДОЛЖЕН ВЕСТИ ИСТОРИЮ ПРОДАВЦОВ, мне надо что бы ид каждого продавца который был спаршен заносился в историю продавцов, и когда мы перешли на обьяву чекнули что она подошла нам по просмотрам, мы получили ссылку на продавца, мы должны чекать нет ли этого ИД продавца у нас в базе, если есть, обьяву скипаем без загрузки страницы продавца , там ИД прям в ссылке.
Работа будет на awm проксях там по кд будет гугл капча, что то не загружаться, надо будет в случае таких ошибок просто брать следующую проксю , ну это мы еще с тобой конкретно обсудим когда писать будем по ходу появления ошибок
Прокси у меня будут авм, там 12к прокси и 70% из них за сутки обновляются
Главное что бы он быстро перебирал неудачи и догружал все без ошибок
- Категория
Источник: fl.ru
Похожие проекты
0
2
Необходимо разработать систему, которая: Подключается к API Diagnocat и iDent (через токены доступа). Получает данные о пациенте, результатах диагностики, снимках и назначениях. Автоматически формирует структурированный отчет по шаблону (включая врачей, этапы лечения, стоимость и описание процедур).......
1 месяц назад
0
0
Необходимо связать БД 1C:ERP с БД Outlook, MS Access, Битрикс24. Например при вводе нового сотрудника в 1С:ERP он должен автоматически появляться в вышеперечисленных БД....
1 месяц назад
0
1
Требуется реализация отчёта на кастомизированной 1С:УПП 1. 2, ТЗ и контрольный пример во вложении, 80% кода должно быть покрыто модульными тестами....
2 месяца назад
$7
0
1
Мне нужно копировать мой текст и вставлять в одну группу ВК с открытой стеной для публикации рекламы. Задача скрипта/сервиса/программы - примерно каждые 10 секунд брать мой текст и вставлять в эту группу. Я пробовал через одну программу, которая записывает действия мышки и потом повторяет, но она как-то......
4 месяца назад
0
0
Написать прошивку для A94B114, используя 2 подобные рабочие прошивки. Все файлы есть....
4 месяца назад
$21
0
2
Нужно разархивировать файл архив. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы(скрины)....
6 месяцев назад
0
1
Входные: Имеется скрипт по обработке email писем и добавление их в систему Redmine Проблема: Система обработки этих писем написана некорректная и негибкая Задача: Переписать логику обработки входящих писем, чтобы исключить их потерю при незначительных отклонениях от ожидаемой структуры....
6 месяцев назад
$37
0
1
- В обязанности сотрудника входит поддержание мобильного приложения системы автоматизации бизнеса. - Работа сдельная: задачи выдаются на оценку, далее после согласования передаются на реализацию. - Заключаем договор и NDA (соглашение о неразглашении)....
6 месяцев назад
$71
0
0
Информация о проекте: Проект включает в себя React Native приложение с Expo внутри которого находится webview с сайтом На устройствах с ОС IOS проблема с воспроизведением видео....
6 месяцев назад
0
0
Разрабатываю десктопные программы на языке Java, а так же Java + SQL....
7 месяцев назад
0
0
0
6
1. Чтобы можно было писать описание события (без заголовка) - превью в списке берется N количества букв с начала. (в списке писать дату события и сколько осталось до него) . Выставление даты и времени напоминания и ИНТЕРВАЛА ПОВТОРА ОТ 1 МИНУТЫ! Выставлять количество повторов, далее напоминания прекращаются.......
7 месяцев назад
0
4
Сайт arg2028t. beget. tech/. Нужно сделать вот такой калькулятор. airprint. by/outdoor/wide-format. и еще некоторые доработки....
7 месяцев назад
$214
0
1
0
6
Краткое описание: Мы ищем исполнителя для тестирования функционала мобильного приложения на платформе Android. Задача включает проверку основных функций приложения, таких как работа комнаты, передача видео, звука и чата, а также создание подробной отчетности о найденных ошибках. Требования к исполнителю:......
9 месяцев назад
0
12
$143
0
0
Oпpocы (1008pyб/чaс) Заходитe на сaйт: gonsù....
9 месяцев назад
0
4
Требуется создать скрипт для premiere pro. Данная суть скрипта: в выделеном бине нужно что бы автоматически проставлялся in out ровно по серидине файла так что бы выделенная область была длиной 3 секунды. И требуется кнопка что бы работало через окно expressions. Проблема текущего в том что он не работает......
10 месяцев назад
0
2
Нужно создать приложения под гемблинг/беттинг, на котлин. Приложение должно работать Firebase. Детали вышлю при обсуждение....
10 месяцев назад
$21
0
4
Нужно разархивировать файл archive. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы ....
1 год назад
0
3
Разработать впн сервис ( Приложения на ios и android + сайт для оплаты подписки). Настройка Серверов. Оплата по договоренности. Работаем черед безопасную сделку....
1 год назад
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите