Парсер на Python
Бюджет
83$
/ 5000
руб
в месяц
Создан: 3 года назад
На модерации
- Описание
- Создать парсер сайта www.reformagkh.ru
Что необходимо сделать:
– Получить данные из раздела «паспорт» по каждому дому в каждом субъекте РФ, предумотреть в программе возможность выгрузки по регионам отдельно
Ссылка – www.reformagkh.ru/myhouse...
– Как выглядят необходимые к выгрузке данные: www.reformagkh.ru/myhouse...
– Нужно получить файл формата csv. Названия признаков и примеры их значений есть в приложенном файле passport.csv.
– Вся информация находится в разделе «паспорт» и в подразделах «общие сведения», «конструктивные элементы дома», «инженерные системы».
– Так же нужно выгрузить координаты дома, на странице дома есть карта.
Требования:
– Производительность скрипта свыше 5000 домов в час.
– Необходимо предусмотреть запуск выгрузки по регионам (Москва, Новосибирская область и другие).
– Предусмотреть обход блокировки, например, прокси для запросов свыше 100 000 в сутки.
Сделать, чтобы программа предварительно мерила скорость прокси и формировала из общего списка прокси, прокси с хорошей скоростью и качеством в отдельный список и работала по нему выборочно(случайным образом).
– На сайте есть блокировка по IP с переходом на капчу, предусмотреть ограничения с запросами прокси.
– Предполагается, что на сервере выгрузки будет от 250 до 1000 прокси. Расчитать минимально необходимое количество прокси, чтобы обеспечить скрипт необходимой производительностью.
– Написать на языке Python
– Передать исходные коды и исполняемые файлы.
– Скрипт должен отработать выгрузку одного региона за сутки.
- Категория
Источник: fl.ru
Похожие проекты
0
0
$71
0
0
0
0
0
3
Я тренер по шахматам, также есть тренеры в команде. Ищу кто будет привлекать учеников на постоянной основе. За каждого ученика плачу от 2000 рублей....
2 месяца назад
$71
0
3
0
0
Ищу специалиста по трафику в команду (Яндекс / ВКонтакте / Instagram / Telegram / и др. ) Что важно: - Опыт работы в своей нише от 3-х лет - Понимание воронок, метрик (ROI, CAC, LTV и пр. ) - Умение работать в команде и соблюдать дедлайны - Желание получать результат В ответном сообщении сразу пишите......
6 месяцев назад
$214
0
1
Нужны заявки в автосервис для привлечения клиентов на бесплатные диагностики. Ссылки на примеры работ и условия работы присылайте в ЛС....
6 месяцев назад
$71
0
2
0
8
Здравствуйте. Меня зовут Оля. Я работаю в компании ГЛОБУС и приглашаю вас зарабатывать на просмотре рекламы. Ничего покупать, продавать и вкладывать не нужно. Просто в фоновом режиме просматриваете рекламные баннеры и получаете за это деньги. Все очень просто. Скачиваем БЕСПЛАТНОЕ ПРИЛОЖЕНИЕ и оно нам......
9 месяцев назад
$143
0
2
Oпpocы (1011pyб/чaс) Заходитe на сaйт: gonsù....
9 месяцев назад
$71
0
13
В личном кабинете нужно заполнить карточки для Вайлдберриз. Также запуск рекламы....
11 месяцев назад
$1429
0
0
Ищу людей у которых мало клиентов и вы не знаете что делать дальше!...
1 год назад
0
0
Трбеуется продвижение бихайнза, фоловеры, просмотры и т....
1 год назад
$56
4
3
Проанализировать рынок, нишу конкурентов, целевую аудиторию 2. Разработать стратегию продвижения 3....
1 год назад
$56
2
3
Проанализировать рынок, нишу конкурентов, целевую аудиторию 2. Разработать стратегию продвижения 3....
1 год назад
$56
9
3
Проанализировать рынок, нишу конкурентов, целевую аудиторию 2. Разработать стратегию продвижения 3....
1 год назад
$56
4
3
$33
17
0
$167
19
2
Нужны заявки в автосервис для привлечения клиентов на бесплатные диагностики. Ссылки на примеры работ и условия работы присылайте в ЛС....
1 год назад
$56
12
0
27
1
ИЩУ СПЕЦОВ – ВЫСОКОГО УРОВНЯ! ВК, ОК, myTarget 1). Уточните, какое у вас образование. 2). Обязательно предоставьте портфолио - лучшие работы (тексты, баннеры, статистика). 3). Условия сотрудничества – по договоренности (сообщите ваши предварительные условия). П. все предложения, которые меня заинтересуют......
1 год назад
Перетащите