Struktury danych oraz metody wykorzystywane do analizy brzegowej w zastosowaniach Internetu Rzeczy

Piotr Grzesik

dr hab. inż. Dariusz Mrozek, prof. PŚ

Politechnika Śląska

Agenda

Cel pracy
Hipotezy badawcze
Ramowy plan
Dotychczasowe publikacje
Prace aktualnie w toku
Dalsze plany

Główny cel pracy

analiza oraz ocena aktualnie wykorzystywanych rozwiązań związanych z akwizycją oraz składowaniem danych
opracowanie struktur danych oraz metod składowania danych
analiza oraz ocena aktualnie wykorzystywanych metod analizy brzegowej
opracowanie metod analizy brzegowej
porównanie podejścia wykorzystującego analizę brzegową z przetwarzaniem i analizą danych w chmurze obliczeniowej

Hipotezy badawcze

Wykorzystanie metod analizy brzegowej pozwala na zmniejszenie wolumenu danych, które muszą zostać przesłane do centrów danych, a co za tym idzie zmniejszenie obciążenia łącz internetowych służących do komunikacji pomiędzy nimi a brzegowymi urządzeniami IoT
Wykorzystanie metod analizy brzegowej pozwala na zmniejszenie wolumenu danych, które muszą zostać przetworzone przez centra danych
Wykorzystanie struktur danych dopasowanych do typu składowanych danych pozwala na wykorzystanie urządzeń o mniejszych zasobach sprzętowych
Wykorzystanie metod analizy brzegowej pozwala na szybsze reagowanie na zachodzące zmiany w systemach wykorzystujących urządzenia IoT
Wykorzystanie analizy brzegowej w systemach wykorzystujących urządzenia IoT pozwala na bardziej niezawodne funkcjonowanie w środowisku o ograniczonej dostępności sieci Internet

Ramowy plan

Wprowadzenie teoretyczne do przetwarzania danych w modelu Edge, Fog oraz Cloud Computing
Akwizycja oraz składowanie danych na urządzeniach brzegowych
1. Przegląd, analiza oraz ocena istniejących metod oraz struktur danych
2. Autorskie metody składowania danych na urządzeniach brzegowych
Metody analizy brzegowej w systemach IoT
1. Przegląd, analiza oraz ocena istniejących metod analizy brzegowej
2. Autorskie metody analizy brzegowej w systemach IoT
Porównianie systemów wykorzystujących analizę brzegową z systemami opartymi na przetwarzaniu danych bezpośrednio w chmurze obliczeniowej
Połączenie przetwarzania brzegowego oraz przetwarzania w chmurze w celu optymalizacji i przyspieszenia obliczeń

Dotychczasowe publikacje

P. Grzesik i D. Mrozek, „Evaluation of key-value stores for distributed locking purposes”, w Beyond databases, architectures and structures : Paving the road to smart data processing and analysis. 15th International conference, BDAS 2019, Ustroń, Poland, May 28-31, 2019. Proceedings, 2019, ss. 70–81.
P. Grzesik i D. Mrozek, „Comparative analysis of time series databases in the context of edge computing for low power sensor networks”, w Computational Science - ICCS 2020 : 20th International conference, Amsterdam, The Netherlands, June 3-5, 2020. Proceedings, 2020, ss. 371–383.
P. Grzesik, „Evaluation of Apache Edgent for stream analytics at the edge?”, w Networking issues in innovative applications based on cyber-physical systems paradigm : Praca zbiorowa, J. Stój i A. Pułka, Red. 2020, ss. 96–107.
P. Grzesik i D. Mrozek, „Metagenomic analysis at the edge with Jetson Xavier NX”, w Computational Science - ICCS 2021 : 21st International conference, Krakow, Poland, June 16-18, 2021. Proceedings, 2021, ss. 500–511.
P. Grzesik i D. Mrozek, „Serverless nanopore basecalling with AWS Lambda”, w Computational Science - ICCS 2021 : 21st International conference, Krakow, Poland, June 16-18, 2021. Proceedings, 2021, ss. 578–586.
D. Mrozek, K. Stępień, P. Grzesik, i B. Małysiak-Mrozek, „A large-scale and serverless computational approach for improving quality of NGS data supporting big multi-omics data analyses”, Frontiers in Genetics, t. 12, ss. 1–16, 2021.
Grzesik, D. Augustyn, Ł. Wyciślik, i D. Mrozek, „Serverless computing in omics data analysis and integration”, Briefings in Bioinformatics, 2021.
Piotr Grzesik and Dariusz Mrozek, "Accelerating Edge Metagenomic Analysis with Serverless-based Cloud Offloading", ICCS 2022
Piotr Grzesik, Paweł Benecki, Daniel Kostrzewa, Bohdan Shubyn and Dariusz Mrozek, "On-Edge Aggregation Strategies over Industrial Data Produced by Autonomous Guided Vehicles, ICCS 2022

Prace aktualnie w toku

Kontynuacja rozwoju algorytmu typu "Cloud-offloading" który został zaprezentowany w publikacji "Accelerating Edge Metagenomic Analysis with Serverless-based Cloud Offloading". Rozwój opiera się na generalizacji podejścia i bardziej elastycznego podziału danych przetwarzanych pomiędzy chmurą a urządzeniem brzegowym.

Równolegle kontynuacja prac nad infrastrukturą, metodami przetwarzania oraz strukturami danych związanymi ze wstępną analizą danych na urządzeniu brzegowym w ramach projektu CobotAGV, a także finalizacja metody składowania oraz przetwarzania danych w chmurze z wykorzystaniem wzorca "Data Lake".

Dalsze plany

Rozszerzenie algorytmu "cloud offloading" między urządzeniami brzegowymi a chmurą - generalizacja rozwiązania i potencjalna implementacja alternatywnych wariantów podziału danych pomiędzy chmurą a urządzeniem brzegowym
Optymalizacja oraz rozwój metod wstępnego przetwarzania danych na urządzeniach brzegowych pod kątem ilości danych które muszą zostać przesłane do chmury (projekt CobotAGV)
Finalizacja oraz implementacja infrastruktury chmurowej odpowiedzialnej za składowanie danych (Data Lake)
Przeprowadzenie badań pokazujących różnicę pomiędzy przetwarzaniem danych na urządzeniu brzegowym względem przetwarzania w chmurze

Struktury danych oraz metody wykorzystywane do analizy brzegowej w zastosowaniach Internetu Rzeczy

By progressive

Struktury danych oraz metody wykorzystywane do analizy brzegowej w zastosowaniach Internetu Rzeczy