Парсер на Python
Бюджет
83$
/ 5000
руб
в месяц
Создан: 2 года назад
На модерации
- Описание
- Создать парсер сайта www.reformagkh.ru
Что необходимо сделать:
– Получить данные из раздела «паспорт» по каждому дому в каждом субъекте РФ, предумотреть в программе возможность выгрузки по регионам отдельно
Ссылка – www.reformagkh.ru/myhouse...
– Как выглядят необходимые к выгрузке данные: www.reformagkh.ru/myhouse...
– Нужно получить файл формата csv. Названия признаков и примеры их значений есть в приложенном файле passport.csv.
– Вся информация находится в разделе «паспорт» и в подразделах «общие сведения», «конструктивные элементы дома», «инженерные системы».
– Так же нужно выгрузить координаты дома, на странице дома есть карта.
Требования:
– Производительность скрипта свыше 5000 домов в час.
– Необходимо предусмотреть запуск выгрузки по регионам (Москва, Новосибирская область и другие).
– Предусмотреть обход блокировки, например, прокси для запросов свыше 100 000 в сутки.
Сделать, чтобы программа предварительно мерила скорость прокси и формировала из общего списка прокси, прокси с хорошей скоростью и качеством в отдельный список и работала по нему выборочно(случайным образом).
– На сайте есть блокировка по IP с переходом на капчу, предусмотреть ограничения с запросами прокси.
– Предполагается, что на сервере выгрузки будет от 250 до 1000 прокси. Расчитать минимально необходимое количество прокси, чтобы обеспечить скрипт необходимой производительностью.
– Написать на языке Python
– Передать исходные коды и исполняемые файлы.
– Скрипт должен отработать выгрузку одного региона за сутки.
- Категория
Источник: fl.ru
Похожие проекты
0
0
Трбеуется продвижение бихайнза, фоловеры, просмотры и т....
2 месяца назад
$56
4
2
Проанализировать рынок, нишу конкурентов, целевую аудиторию 2. Разработать стратегию продвижения 3....
2 месяца назад
$56
2
1
Проанализировать рынок, нишу конкурентов, целевую аудиторию 2. Разработать стратегию продвижения 3....
2 месяца назад
$56
9
2
Проанализировать рынок, нишу конкурентов, целевую аудиторию 2. Разработать стратегию продвижения 3....
2 месяца назад
$56
4
2
$33
17
0
$167
19
1
Нужны заявки в автосервис для привлечения клиентов на бесплатные диагностики. Ссылки на примеры работ и условия работы присылайте в ЛС....
2 месяца назад
$56
12
0
27
1
ИЩУ СПЕЦОВ – ВЫСОКОГО УРОВНЯ! ВК, ОК, myTarget 1). Уточните, какое у вас образование. 2). Обязательно предоставьте портфолио - лучшие работы (тексты, баннеры, статистика). 3). Условия сотрудничества – по договоренности (сообщите ваши предварительные условия). П. все предложения, которые меня заинтересуют......
3 месяца назад
42
1
Наша комапния занимается отделкой и ремонтом помещений. Мы ищем партнёров для поиска клиентов. Любыми способами. Готовы платить %% с заказов....
3 месяца назад
55
3
Требуется специалист для поиска клиентов, получения заявок на монтаж кровли в МСК и МО. Сайт есть на расчет стоимости....
3 месяца назад
$56
55
4
В Google Analytics стоит цель - за неделю 80 конверсий - однако данные по цели не передаются в Google Рекламу. С рекламы трафик был и цели срабатывали. У нас стоит универсал аналитика. Поэтому также, необходимо будет сделать обновление до версии 4. Просьба откликаться, если уже имелся ранее подобный......
3 месяца назад
$22
81
0
$1500
52
0
Запускаем коммерческий проект по разработке ПО на краутфаудинговой платформе Kickstarter. Необходимо привлекать потенциальных спонсоров из социальных сетей Facebook, Instagram, Reddit и т. ориентируясь на англоязычную аудиторию. Ярко описывать презинтацию приложения....
3 месяца назад
65
0
Срочно нужен таргетолог, который уже работал. в нише: Сертификация товаров. ЦА: продавцы товаров на ВБ и Озон....
3 месяца назад
72
1
$167
74
2
94
0
72
0
Информирование клиентов. Вы получите подробные инструкции ,что именно говорить....
3 месяца назад
$22
88
2
Продажа известных ароматов духов. Без закупок. Информирование клиентов о новых продуктах и специальных предложениях. Вам будут предоставлена вся информация и инструкции для работ с клиентами....
3 месяца назад
$22
71
0
Нужны заявки на покупку платформы по адаптации сотрудников....
3 месяца назад
Перетащите