Бюджет 583$ / 35000
руб
в месяц
Создан: 1 год назад
На модерации
Описание
Многопоток. Прокси
Я загрузаю в парсер ссылку вида:
www.avito.ru/moskva_i_mo/...
Я таких грузить буду несколько , от 1-10
ПЕРВЫЙ ЭТАП: 
Перейдя по этой ссылке на странице нам покажет 45-50 обьявлений, когда я загружаю вот эти ссылки я должен указать глубину сколько страниц по каждой будем собирать
например я загрузил:
www.avito.ru/moskva_i_mo/... ГЛУБИНА 5
www.avito.ru/moskva_i_mo/... ГЛУБИНА 5
Парсер переходит по каждой из этих ссылок + через конструктор строит переход на 2-3-4-5 страницы, собирает ссылки на все обьявления оттуда. 
То есть первый этап это сбор ссылок на обьявлений через ссылки для сбора
ВТОРОЙ ЭТАП:
Скрипт должен переходить по каждой обьяве и в следующем алгоритме чекать:
Сначало он смотрит на количество просмотров обьявления, там 2 цифры
Первая значит просмотров сегодня, вторая значит просмотров всего, мне нужны обьявы только сегодняшние, значит эти 2 числа должны совпадать. Если он чекает что просмотров сегодня и просмотров всего совпадает, мы такое обьявление берем в работу, собираем с него следующую информацию:
Название, цена, ссылка ( Вывод в ексель будет нужен офк)
Далее в такой обьяве нужно загрузить профиль продавца, ссылка на него так же будет в коде ссылки обьявления ее можно спарсить. с профиля продавца нам нужна следующая информация: 
Количество активных обьявлений и количество завершенных обьявлений. Далее вывод в ексель
Заголовок объявления – цена – ссылка на объявление – активных обьяв – завершенных обьяв
ТАК ЖЕ ПАРСЕР ДОЛЖЕН ВЕСТИ ИСТОРИЮ ПРОДАВЦОВ,  мне надо что бы ид каждого продавца который был спаршен заносился в историю продавцов, и когда мы перешли на обьяву чекнули что она подошла нам по просмотрам, мы получили ссылку на продавца, мы должны чекать нет ли этого ИД продавца у нас в базе, если есть, обьяву скипаем без загрузки страницы продавца , там ИД прям в ссылке, такую же систему нужно сделать для самих обьявлений, хранить историю и не парсить уже те что есть в истории.
Работа будет на awm проксях там по кд будет гугл капча, что то не загружаться, надо будет в случае таких ошибок просто брать следующую проксю , ну это мы еще с тобой конкретно обсудим когда писать будем по ходу появления ошибок
Прокси у меня будут авм, там 12к прокси и 70% из них за сутки обновляются
Главное что бы он быстро перебирал неудачи и догружал все без ошибок
Категория
Источник: fl.ru

Похожие проекты

$21
0 1
Нужно разархивировать файл archive. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы  ....
1 месяц назад
safe 
0 0
Разработать впн сервис ( Приложения на ios и android + сайт для оплаты подписки). Настройка Серверов. Оплата по договоренности. Работаем черед безопасную сделку....
1 месяц назад
safe$21
0 3
Нужно разархивировать файл archive. ujems, есть распаковщик, но выдает ошибку. Прислать пруфы  ....
2 месяца назад
$214
0 1
Здравствуйте, у кого есть проект по продвижению chaturbate? Или кто-то делает?...
2 месяца назад
$21
0 0
Заказные доработки функционирующих учётно-управленческих систем на производственных предприятиях. Навыки программирования в MS SQL, VBScript, 1С, знание принципов ООП....
safe$36
0 2
Нужно опубликовать мобильное приложение для Android в Гугл маркет с аккаунта разработчика Гугл плей консоль, созданного ДО Ноября 2023. В рамках проекта, необходимо прислать приглашение мне на почту, чтобы я загрузила приложение и отправила его на модерацию, с сохранением безвременного доступа к моему......
safe$71
0 3
Сделать игру для яндекс игр, настроить рекламу в игре и помочь с публикацией игры в платформе яндекс игры. Игра - карточная игра Пасьянс Паук (косынка) Игровой процесс: Тип игры: Пасьянс Паук. Количество мастей: Игрок может выбирать количество мастей: 1, 2, 3 или 4. Подсказки: Автоматические подсказки,......
$14
0 3
Без акцента на идею, необходимо создать мобильное приложение iOs и Android, с возможностью трансляции основной информации в миниапп Tg. Интеграция с платежной системой, внутренний кошелек, две валюты. В зависимости от гео, возможность конвертации валют ч/з сервер. На старте, сервер скорее облачный. Двухфакторная......
$1200
0 0
Необходимо перевести действующую БД с версии 77 на 8 (переписать конфигурацию, настроить обработки для переноса данных).   Не типовая конфигурация по учету пенсионеров в ГУ РК....
safe$22
9 3
требуется готовую онлайн анкету на django по приему на работу перенести в whatsapp, telegram и viber. Нужно чтобы кандидат мог с удобством заполнять анкету с телефона, а все заполненные им данные по всем позициям автоматически загружались в нашу базу данных. В нашей базе будет создаваться резюме кандидата......
$714
0 2
Описание задачи: Необходимо разработать serverless функцию на базе NestJS и TypeScript для автоматизированной обработки видеофайлов, загружаемых в Yandex Cloud Storage. Функция должна выполнять конвертацию видео в формат, поддерживаемый основными веб-браузерами, с последующим сжатием до оптимального......
safe$44
49 1
Трипланарная транспортная задача (отправители - транспорт - получатели) генерация исходных данных трехэтапное решение 1....
safe 
28 1
В наличии массив кадастровых номеров (КН), необходимо путем запроса на ПКК определить примерные географические координаты каждого объекта из массива КН (ОКС, ЗУ), вывести в результирующий файл эти ко-ты и ряд сопутствующих данных по этому КН....
3 месяца назад
safe 
44 8
Необходимо разработать бек и фронт мини-сервиса таким образом, чтоб его можно было развернуть внутри другого проекта....
safe$1111
23 0
Стоит на Бизнесе для своих нужд на простеньком базовом шаблоне, складываю туда контент потихоньку. Нужно начинать приводить в соответствие что бы публика сразу не убегала, а как то цеплялась, да и продвигать не торопясь. Шаблон где порвался от вставки баннеров подправить, для мобилок может сверстать.......
safe$22
55 0
Парсер для сайта stockx. com на питоне (selenium/pyppeteer). Необходим следующий функционал: 1. На главной странице с поиском по ключевым словам найти первый результат из поиска (ссылку на страницу товара) ....
3 месяца назад
 
36 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
3 месяца назад
 
37 0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
3 месяца назад
Смотреть все