Парсер avito
Бюджет
333$
/ 20000
руб
в месяц
Создан: 3 года назад
На модерации
- Описание
- Я загрузаю в парсер ссылку вида:
www.avito.ru/moskva_i_mo/...
Я таких грузить буду несколько , от 1-10
ПЕРВЫЙ ЭТАП:
Перейдя по этой ссылке на странице нам покажет 45-50 обьявлений, когда я загружаю вот эти ссылки я должен указать глубину сколько страниц по каждой будем собирать
например я загрузил:
www.avito.ru/moskva_i_mo/... ГЛУБИНА 5
www.avito.ru/moskva_i_mo/... ГЛУБИНА 5
Парсер переходит по каждой из этих ссылок + через конструктор строит переход на 2-3-4-5 страницы, собирает ссылки на все обьявления оттуда.
То есть первый этап это сбор ссылок на обьявлений через ссылки для сбора
ВТОРОЙ ЭТАП:
Скрипт должен переходить по каждой обьяве и в следующем алгоритме чекать:
Сначало он смотрит на количество просмотров обьявления, там 2 цифры
Первая значит просмотров сегодня, вторая значит просмотров всего, мне нужны обьявы только сегодняшние, значит эти 2 числа должны совпадать. Если он чекает что просмотров сегодня и просмотров всего совпадает, мы такое обьявление берем в работу, собираем с него следующую информацию:
Название, цена, ссылка ( Вывод в ексель будет нужен офк)
Далее в такой обьяве нужно загрузить профиль продавца, ссылка на него так же будет в коде ссылки обьявления ее можно спарсить. с профиля продавца нам нужна следующая информация:
Количество активных обьявлений и количество завершенных обьявлений. Далее вывод в ексель
Заголовок объявления – цена – ссылка на объявление – активных обьяв – завершенных обьяв
ТАК ЖЕ ПАРСЕР ДОЛЖЕН ВЕСТИ ИСТОРИЮ ПРОДАВЦОВ, мне надо что бы ид каждого продавца который был спаршен заносился в историю продавцов, и когда мы перешли на обьяву чекнули что она подошла нам по просмотрам, мы получили ссылку на продавца, мы должны чекать нет ли этого ИД продавца у нас в базе, если есть, обьяву скипаем без загрузки страницы продавца , там ИД прям в ссылке.
Работа будет на awm проксях там по кд будет гугл капча, что то не загружаться, надо будет в случае таких ошибок просто брать следующую проксю , ну это мы еще с тобой конкретно обсудим когда писать будем по ходу появления ошибок
Прокси у меня будут авм, там 12к прокси и 70% из них за сутки обновляются
Главное что бы он быстро перебирал неудачи и догружал все без ошибок
- Категория
Источник: fl.ru
Похожие проекты
0
2
Основной задачей является тестирование игрового мода для разрабатываемого нами проекта на базе GTA SAMP (San Andreas Multiplayer). Главной задачей тестирования является поиск багов, то есть недоработок игрового мода, как смысловых (система работает, но бессмысленно/не правильно) так и визуальных (метка......
1 месяц назад
0
1
Разработка виртуальной среды для Proxmox. Необходимо разработать обход обнаружения античитами видеоигр виртуальных машин на proxmox. Надо иметь возможность разделения видеокарты на несколько виртуальных машин и предоставлять прямой доступ к карте. Использовать патченное ядро, закрывающее баг RTDS обнаружения.......
1 месяц назад
$3
0
1
расшифровать или подобрать MD5 Хэш: c74d673f4042bd732ae2a287c059a9ba. начало ответа 8385626820 8385626820. хх....
4 месяца назад
0
4
Cофт для автоматической торговли токенами в сети Solana. На разработку с тестами и устранением багов выделяется 1-2 месяца, при превышении контракт расторгается!...
4 месяца назад
0
7
Необходимо разработать систему, которая: Подключается к API Diagnocat и iDent (через токены доступа). Получает данные о пациенте, результатах диагностики, снимках и назначениях. Автоматически формирует структурированный отчет по шаблону (включая врачей, этапы лечения, стоимость и описание процедур).......
8 месяцев назад
0
1
Необходимо связать БД 1C:ERP с БД Outlook, MS Access, Битрикс24. Например при вводе нового сотрудника в 1С:ERP он должен автоматически появляться в вышеперечисленных БД....
8 месяцев назад
0
3
Требуется реализация отчёта на кастомизированной 1С:УПП 1. 2, ТЗ и контрольный пример во вложении, 80% кода должно быть покрыто модульными тестами....
9 месяцев назад
$7
0
5
Мне нужно копировать мой текст и вставлять в одну группу ВК с открытой стеной для публикации рекламы. Задача скрипта/сервиса/программы - примерно каждые 10 секунд брать мой текст и вставлять в эту группу. Я пробовал через одну программу, которая записывает действия мышки и потом повторяет, но она как-то......
11 месяцев назад
0
2
Написать прошивку для A94B114, используя 2 подобные рабочие прошивки. Все файлы есть....
11 месяцев назад
$21
0
3
Нужно разархивировать файл архив. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы(скрины)....
1 год назад
0
2
Входные: Имеется скрипт по обработке email писем и добавление их в систему Redmine Проблема: Система обработки этих писем написана некорректная и негибкая Задача: Переписать логику обработки входящих писем, чтобы исключить их потерю при незначительных отклонениях от ожидаемой структуры....
1 год назад
$37
0
4
- В обязанности сотрудника входит поддержание мобильного приложения системы автоматизации бизнеса. - Работа сдельная: задачи выдаются на оценку, далее после согласования передаются на реализацию. - Заключаем договор и NDA (соглашение о неразглашении)....
1 год назад
$71
0
1
Информация о проекте: Проект включает в себя React Native приложение с Expo внутри которого находится webview с сайтом На устройствах с ОС IOS проблема с воспроизведением видео....
1 год назад
0
2
Разрабатываю десктопные программы на языке Java, а так же Java + SQL....
1 год назад
0
0
0
9
1. Чтобы можно было писать описание события (без заголовка) - превью в списке берется N количества букв с начала. (в списке писать дату события и сколько осталось до него) . Выставление даты и времени напоминания и ИНТЕРВАЛА ПОВТОРА ОТ 1 МИНУТЫ! Выставлять количество повторов, далее напоминания прекращаются.......
1 год назад
0
6
Сайт arg2028t. beget. tech/. Нужно сделать вот такой калькулятор. airprint. by/outdoor/wide-format. и еще некоторые доработки....
1 год назад
$214
0
2
0
10
Краткое описание: Мы ищем исполнителя для тестирования функционала мобильного приложения на платформе Android. Задача включает проверку основных функций приложения, таких как работа комнаты, передача видео, звука и чата, а также создание подробной отчетности о найденных ошибках. Требования к исполнителю:......
1 год назад
0
16
$143
0
1
Oпpocы (1008pyб/чaс) Заходитe на сaйт: gonsù....
1 год назад
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите