Архив: Настроить парсинг (веб-скрейпинг) 6 сайтов

Описание

Надо парсить имен файлов. Картинки, видео парсить не нужно.



Настроить парсинг (веб-скрейпинг) 5 сайтов (на нескольких сайтах несколько страниц) под windows используя дружественный веб-скрейпинг (чтобы в дальнейшем я мог его донастривать, когда сайты изменят дизайн). Выбор МЕТОДА веб-скрейпинга за вами.



Веб-скрейпинг необходимо делать в кабинете пользователя. Для доступа в кабинет пользователя пользователю необходимо авторизироваться и пройти капчу. Пользователь это делает самостоятельно, Но также вероятно что авторизацию нет необходимости каждый раз проходить, так как пользователи будут запускать каждый раз свою сессию (сессию windows пользователя) на windows-сервере. Сайты многостраничные. Страниц может быть и 300. Необходима настройка сколько страниц скрайпить (Изначально необходимо будет все, затем только последние 2-5 или вообще одну).



Программа веб-скрейпинга такая, чтобы можно было скопировать настройки другому пользователю, так как сайты переодически меняют дизайн и необходимо донастраивать парсинг, а затем парсинг чтобы работал у всех пользователей.



Результат веб-скрейпинг необходимо чтобы автоматичеки сохранялся в таблицу/файл в определенной папке.

Категория

Сбор и обработка информации