Архив: Написать быстрый парсер логов тех. журнала 1С
Бюджет
По договоренности
Создан: 5 лет назад
Закрыт
- Описание
- Необходимо написать максимально быстрый и не требующий большого количества памяти парсер логов технологического журнала 1С. Парсер должен загружать логи в таблицу базы 1С.
Пожалуйста, сразу напишите примерную стоимость вашей работы по этому заданию.
Структура логов известна.
1. Парсер должен быть реализован в обработке 1С, где загрузка логов происходит с помощью внешней компоненты.
2. Парсер должен читать логи ТЖ с указанной периодичностью.
3. Должна быть настройка которая определяет сколько памяти может задействовать парсер, что бы можно было регулировать нагрузку на систему при чтении очень больших логов в десятки Гб, т.к. это не должно приводить к сбоям в работе компьютера или парсера.
4. Данные логов будутзагружаться и храниться в регистре сведений, где свойства событий из ТЖ это отдельные колонки регистра сведений.
5. В парсере должны быть настройки соответствия, где указано какая информация из лога в какую колонку таблицы будет загружаться. Так же должна быть возможность изменять, добавлять и удалять эту информацию. Например, если появились новые свойства в логах ТЖ, это потребует добавления колонок в регистр сведений и указание нового соответствия в парсере для этих колонок.
6. Основной упор нужно сделать именно на производительность и быструю загрузку данных в базу. Возможно для этого нужно будет сделать обработку загрузки многопоточной.
7. В таблице будут содержаться не только логи, но некоторые вычисляемые колонки. Значения в них будут зависеть от значений других колонок парсера. Надо предусмотреть в парсере возможность вычисления этих колонок.
8. Данные в логах разделяются в основном запятой, но запятая так может быть в значениях параметров логов. Это надо учитывать. Например, p:processname=Base,Usr=Смирнов,Fld5422=По документам 01,04 и 12,Fld6765=ООО Рога и копыта это должно быть корректно распарсено на 4 поля с 4 значениями, несмотря на запятые и кавычки внутри самих значений.
9. Так же возможна ситуация когда некоторые значения не помещаются в одну строку лога и переносятся на другую строку, несмотря на это данные должны обрабатываться и загружаться корректно. Такие ситуации относительно легко отследить т.к. новая строка лога всегда начинается с цифр в формате ММ.СС. Где ММ это минуты, а СС секунды.
Это основная часть ТЗ, детали будем обсуждать с исполнителем.
- Категория
Похожие проекты
$714
0
0
Описание задачи: Необходимо разработать serverless функцию на базе NestJS и TypeScript для автоматизированной обработки видеофайлов, загружаемых в Yandex Cloud Storage. Функция должна выполнять конвертацию видео в формат, поддерживаемый основными веб-браузерами, с последующим сжатием до оптимального......
1 день назад
$22
9
0
требуется готовую онлайн анкету на django по приему на работу перенести в whatsapp, telegram и viber. Нужно чтобы кандидат мог с удобством заполнять анкету с телефона, а все заполненные им данные по всем позициям автоматически загружались в нашу базу данных. В нашей базе будет создаваться резюме кандидата......
1 год назад
28
0
В наличии массив кадастровых номеров (КН), необходимо путем запроса на ПКК определить примерные географические координаты каждого объекта из массива КН (ОКС, ЗУ), вывести в результирующий файл эти ко-ты и ряд сопутствующих данных по этому КН....
1 год назад
44
1
Необходимо разработать бек и фронт мини-сервиса таким образом, чтоб его можно было развернуть внутри другого проекта....
1 год назад
$1111
23
0
Стоит на Бизнесе для своих нужд на простеньком базовом шаблоне, складываю туда контент потихоньку. Нужно начинать приводить в соответствие что бы публика сразу не убегала, а как то цеплялась, да и продвигать не торопясь. Шаблон где порвался от вставки баннеров подправить, для мобилок может сверстать.......
1 год назад
$22
55
0
Парсер для сайта stockx. com на питоне (selenium/pyppeteer). Необходим следующий функционал: 1. На главной странице с поиском по ключевым словам найти первый результат из поиска (ссылку на страницу товара) ....
1 год назад
$33
31
1
$44
49
0
Трипланарная транспортная задача (отправители - транспорт - получатели) генерация исходных данных трехэтапное решение 1....
1 год назад
$1111
48
0
Требуется написать парсер маркетплейса, у которого есть только мобильное приложение (IOS, Android). Есть исходный код Android приложения (Java + Kotlin), реверснутый через JADX. Необходимо парсить данные о товарах, полученные по артикулу. За подробностями тг: @markermann)....
1 год назад
83
4
70
2
38
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
36
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
37
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
31
0
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
40
1
Требуется написать софт , который будет делать рассылку по личным сообщениям на площадке Ebay Kleinanzeigen по заранее спаршенным обьявлениям....
1 год назад
$22
59
1
В Геткурсе нужно сделать интеграцию со Сбербанком для оформления рассрочки/кредита. Основная задача – передача суммы и номера заказа при переходе для оформления рассрочки и возврат сведений при удачном оформлении. Эквайринг от Сбербанка к Геткурсу подключён, а готовой интеграции для рассрочки нет. Если......
1 год назад
96
0
Нужно сделать бот перехватчик заказов по фильтру такси Максим!...
1 год назад
$33
75
1
Как можно загрузить готовое фото из галереи, если приложение просит загрузить фото и при этом открывает камеру телефона? Нужно вместо использования реальной камеры смоделировать вход камеры и при этом загрузить фото из галереи....
1 год назад
105
8
85
1
Похожая удалённая работа
- Удаленная работа для веб-программиста
- Удаленная работа для разработчика баз данных
- Удаленная работа для прикладного программиста
- Удаленная работа для системного программиста
- Удаленная работа для разработчика игр
- Удаленная работа для разработчика мобильных приложений
- Удаленная работа для тестировщика ПО
- Удаленная работа для 1С программиста
- Удаленная работа для разработчика встраиваемых систем
- Удаленная работа для разработчика CRM и ERP
Перетащите