Struktury danych oraz metody wykorzystywane do analizy brzegowej w zastosowaniach Internetu Rzeczy

Piotr Grzesik

dr hab. inż. Dariusz Mrozek, prof. PŚ 

Politechnika Śląska

Agenda

  1. Cel pracy
  2. Hipotezy badawcze
  3. Ramowy plan
  4. Dotychczasowe publikacje
  5. Prace aktualnie w toku
  6. Dalsze plany

Główny cel pracy

  • analiza oraz ocena aktualnie wykorzystywanych rozwiązań związanych z akwizycją oraz składowaniem danych
  • opracowanie struktur danych oraz metod składowania danych
  • analiza oraz ocena aktualnie wykorzystywanych metod analizy brzegowej
  • opracowanie metod analizy brzegowej
  • porównanie podejścia wykorzystującego analizę brzegową z przetwarzaniem i analizą danych w chmurze obliczeniowej

Hipotezy badawcze

  • Wykorzystanie metod analizy brzegowej pozwala na zmniejszenie wolumenu danych, które muszą zostać przesłane do centrów danych, a co za tym idzie zmniejszenie obciążenia łącz internetowych służących do komunikacji pomiędzy nimi a brzegowymi urządzeniami IoT
  • Wykorzystanie metod analizy brzegowej pozwala na zmniejszenie wolumenu danych, które muszą zostać przetworzone przez centra danych
  • Wykorzystanie struktur danych dopasowanych do typu składowanych danych pozwala na wykorzystanie urządzeń o mniejszych zasobach sprzętowych
  • Wykorzystanie metod analizy brzegowej pozwala na szybsze reagowanie na zachodzące zmiany w systemach wykorzystujących urządzenia IoT
  • Wykorzystanie analizy brzegowej w systemach wykorzystujących urządzenia IoT pozwala na bardziej niezawodne funkcjonowanie w środowisku o ograniczonej dostępności sieci Internet

Ramowy plan

  1. Wprowadzenie teoretyczne do przetwarzania danych w modelu Edge, Fog oraz Cloud Computing
  2. Akwizycja oraz składowanie danych na urządzeniach brzegowych
    1. Przegląd, analiza oraz ocena istniejących metod oraz struktur danych
    2. Autorskie metody składowania danych na urządzeniach brzegowych
  3. Metody analizy brzegowej w systemach IoT
    1. Przegląd, analiza oraz ocena istniejących metod analizy brzegowej
    2. Autorskie metody analizy brzegowej w systemach IoT
  4. Porównianie systemów wykorzystujących analizę brzegową z systemami opartymi na przetwarzaniu danych bezpośrednio w chmurze obliczeniowej
  5. Połączenie przetwarzania brzegowego oraz przetwarzania w chmurze w celu optymalizacji i przyspieszenia obliczeń

 

Dotychczasowe publikacje

  1. P. Grzesik i D. Mrozek, „Evaluation of key-value stores for distributed locking purposes”, w Beyond databases, architectures and structures : Paving the road to smart data processing and analysis. 15th International conference, BDAS 2019, Ustroń, Poland, May 28-31, 2019. Proceedings, 2019, ss. 70–81.

  2. P. Grzesik i D. Mrozek, „Comparative analysis of time series databases in the context of edge computing for low power sensor networks”, w Computational Science - ICCS 2020 : 20th International conference, Amsterdam, The Netherlands, June 3-5, 2020. Proceedings, 2020, ss. 371–383.

  3. P. Grzesik, „Evaluation of Apache Edgent for stream analytics at the edge?”, w Networking issues in innovative applications based on cyber-physical systems paradigm : Praca zbiorowa, J. Stój i A. Pułka, Red. 2020, ss. 96–107.

  4. P. Grzesik i D. Mrozek, „Metagenomic analysis at the edge with Jetson Xavier NX”, w Computational Science - ICCS 2021 : 21st International conference, Krakow, Poland, June 16-18, 2021. Proceedings, 2021, ss. 500–511.

  5. P. Grzesik i D. Mrozek, „Serverless nanopore basecalling with AWS Lambda”, w Computational Science - ICCS 2021 : 21st International conference, Krakow, Poland, June 16-18, 2021. Proceedings, 2021, ss. 578–586.

  6. D. Mrozek, K. Stępień, P. Grzesik, i B. Małysiak-Mrozek, „A large-scale and serverless computational approach for improving quality of NGS data supporting big multi-omics data analyses”, Frontiers in Genetics, t. 12, ss. 1–16, 2021.

  7. Grzesik, D. Augustyn, Ł. Wyciślik, i D. Mrozek, „Serverless computing in omics data analysis and integration”, Briefings in Bioinformatics, 2021.

  8. Piotr Grzesik and Dariusz Mrozek, "Accelerating Edge Metagenomic Analysis with Serverless-based Cloud Offloading", ICCS 2022

  9. Piotr Grzesik, Paweł Benecki, Daniel Kostrzewa, Bohdan Shubyn and Dariusz Mrozek, "On-Edge Aggregation Strategies over Industrial Data Produced by Autonomous Guided Vehicles, ICCS 2022

Prace aktualnie w toku

Kontynuacja rozwoju algorytmu typu "Cloud-offloading" który został zaprezentowany w publikacji "Accelerating Edge Metagenomic Analysis with Serverless-based Cloud Offloading". Rozwój opiera się na generalizacji podejścia i bardziej elastycznego podziału danych przetwarzanych pomiędzy chmurą a urządzeniem brzegowym.

Równolegle kontynuacja prac nad infrastrukturą, metodami przetwarzania oraz strukturami danych związanymi ze wstępną analizą danych na urządzeniu brzegowym w ramach projektu CobotAGV, a także finalizacja metody składowania oraz przetwarzania danych w chmurze z wykorzystaniem wzorca "Data Lake".

Dalsze plany

  1. Rozszerzenie algorytmu "cloud offloading" między urządzeniami brzegowymi a chmurą - generalizacja rozwiązania i potencjalna implementacja alternatywnych wariantów podziału danych pomiędzy chmurą a urządzeniem brzegowym
  2. Optymalizacja oraz rozwój metod wstępnego przetwarzania danych na urządzeniach brzegowych pod kątem ilości danych które muszą zostać przesłane do chmury (projekt CobotAGV)
  3. Finalizacja oraz implementacja infrastruktury chmurowej odpowiedzialnej za składowanie danych (Data Lake)
  4. Przeprowadzenie badań pokazujących różnicę pomiędzy przetwarzaniem danych na urządzeniu brzegowym względem przetwarzania w chmurze
Made with Slides.com