Від джерела до призначення: Подорож з Apache NiFi

 15 березня 2024 року відбулась зустріч здобувачів освіти першого бакалаврського та другого магістерського рівня освітніх програм «Економічна кібернетика», «Цифрова економіка» та «Інформаційні системи і технології» факультету інформаційних технологій з BI розробником компанії Tiebreak Solutions, Олександром Чумаченко на тему «Від джерела до призначення: Подорож з Apache NiFi».

Дана зустріч відбулася в межах вивчення студентами факультету інформаційних технологій ряду дисциплін, які пов'язані саме з обробкою та аналізом даних, таких як: Business Intelligence системи, Інтернет-аналітика, Інтелектуальний аналіз даних.

Доповідач зазначив, що Apache NiFi - це потужний відкритий програмний продукт для автоматизації різноманітних потоків даних. Він призначений для ефективного переміщення, обробки і систематизації великого обсягу даних у реальному часі. NiFi може використовуватися для різноманітних завдань, таких як збір даних з різних джерел, їхнє фільтрування, трансформація, маршрутизація і вивід у різноманітні системи або сховища даних. Було детально проаналізовано загальну архітектуру BI систем.

Зазначено, що головними особливостями Apache NiFi є графічний інтерфейс для конфігурації потоків даних (через веб-браузер), підтримка масштабування, вбудовані механізми безпеки, здатність до моніторингу та керування потоками даних у реальному часі, а також розширюваність завдяки використанню модульної архітектури та різноманітних плагінів.

Олександр Чумаченко відмітив, що Apache NiFi підтримує дуже велику кількість різноманітних процесів.

Наголошено, що Apache NiFi може бути використаний у різних сценаріях, таких як обробка журналів, аналіз великих даних, інтеграція різноманітних даних, потоковий аналіз, моніторинг мережі тощо.

Власне даний інструмент широко використовується в індустрії для побудови різних ефективних рішень, що пов’язані з обробкою даних у реальному часі.

Наголошено, що Apache NiFi підтримує кілька мов програмування для створення розширень та налаштування потоків даних. Головними мовами програмування для розширення Apache NiFi є Java та Groovy. Також можна використовувати мови програмування, які можуть бути інтегровані з Java Virtual Machine (JVM), такі як Python та Scala.

Здобувачам освіти було продемонстровано використання даного інструменту на реальному прикладі щодо обробки даних з таких джерел як Amazon – S3 Bucket,  Google Drive, Google Advertisement, тощо.

Хочемо висловити щиру подяку Олександру Чумаченку за цікаву та інформативну доповідь про програмний продукт Apache NiFi. Даний майстер-клас дозволив студентам отримати глибше розуміння функціональності та можливостей цього програмного продукту. Зустріч виявилася корисною не лише для тих, хто цікавиться аналізом даних, а й для тих, хто прагне оволодіти сучасними інструментами роботи з великими обсягами інформації. Подібні ініціативи є важливим кроком у підготовці майбутніх фахівців, сприяючи їхньому професійному зростанню та розвитку.

Володимир Харченко в.о. завідувача кафедри

економічної кібернетики, к.е.н., доцент