Архив: Автоматический парсер новостей

Описание

Задача: Написать скрипт-парсер для отслеживания обновлений контента на определенных сайтах(список дам) с дальнейшей его автоматической публикацией.







Алгоритм работы (как вижу я):



С определенным интервалом сайт (раздел сайта либо список страниц) сканируется на наличие обновлений.



Найденный новый контент публикуется на нашем сайте указав дату публикацию раньше, чем на оригинале (например рандомно в пределах -1 час)



Нюансы



Часть сайтов имеет защиту от копирования, все возможные Ddos защиты и блокировку ботов.

Категория

Веб-программирование