Integrált

informatikai rendszerek

Dr Csala Dénes

UBB FSEGA

2023 tavasz

Microsoft

2 kurzus, 2+2 rész

Automatikus adatgyűjtés és monitorizálás
Mesterséges intelligencia rendszerek és

gépi tanulás

Vizsga

A vizsga a projektek bemutatásából áll
Fogunk szervezni a projektek bemutatására egy mini-konferenciát, május XX-én.
Ezt két részre osztjuk.
- Az egyéni projekteket az első napon mutatjátok be, ez a rész a jegy 70%-a.
  - Ez egy dolgozatból és egy előadásból áll.
- A csoportos projekteket a második napon mutatjátok be, ez a jegy 30%-a.
  - Ez egy előadásból áll.
Peer-grading-et alkalmazunk

csaladen.es/live

Disclaimer

Englisch speakings good, ja!
Y U NO speak magyar?
Hibázni jó!
Szeddalábad

1. Automatikus adatgyűjtés és monitorizálás

a. Bevezető

Órarend - 1a- 1. nap

16:10-17:00 Bevezető / Ismétlés
17:10-18:00 Cloud computing
- AWS, GCP, Azure
18:10-19:00 Containerized computing
- Docker
19:10-20:00 Adatfeldolgozási környezet
- Linux, Jupyter, Docker

Órarend - 1a- 2. nap

16:10-17:00 Monitorizálási platformok - Grafana
17:10-18:00 Grafana bemutató
18:10-19:00 Idősor adatbázisok - InfluxDB
19:10-20:00 InfluxDB adatfeltöltés
(ha lesz időnk) Chronograf

Adat

Információ

Tudás

Arecibo Interstellar Message - wikimedia.com

Mi az adatvizualizáció?

Tárol

Kielemez

Segíti a érvelést, gondolatmenetet

Közöl

Bevon

Meggyőz

Adatvizualizációs eszközök

Klikkelős eszközök

Flourish (legegyszerűbb)
PlotDB (sok opció)
Datawrapper (AI charts)
kepler.gl (térképek)

Kódolós eszközök

D3.js (mindent IS lehet)
D3plus (nem mindent, de könnyen)
eCharts (mindent, könnyen - de kínai dok)
matplotlib / seaborn (mindent, pythonból)
bokeh (mindent, pythonból, interaktív)
Plotly (majdnem mindent, mindenhonnan)
Vega / Vega lite (visualization grammar - a Jövő)
CesiumJS (mindent a földgömbön)

Önkiszolgáló felületek

PowerBI (Microsoft)
Tableau (legnépszerűbb)
Qlik (finance)
Grafana+InfluxDB (monitoring)
Superset (open source, de halott)

Kisegítő környezet

pandas (python data analysis library)
Jupyter (python notebooks)
Google Colab (Jupyter in the cloud)
jupyter.org (Jupyter in the cloud)
Observable (Javascript notebooks)

ATLO - atlatszo.hu

Chartmaker - Any Kirk - visualisingdata.com

ezelink.com

vividcomm.com

fmsystems.com

Adat

Információ

Tudás

Arecibo Interstellar Message - wikimedia.com

BI1

Összekapcsolás

Topológia

Hálózat

The Opte Project

BI2

1. Automatikus adatgyűjtés és monitorizálás

Cloud computing

Amazon Web Services

Felhő-számítástechnikai kifejezések szótára

https://azure.microsoft.com/hu-hu/overview/cloud-computing-dictionary/

1. Automatikus adatgyűjtés és monitorizálás

Containerized computing

Docker install

Telepítés direkt módon
Ha nem működik a telepítő
- Telepítés Docker Toolbox-szal
Ha nem indul el a Docker telepítés után
- Memória és tárhely beállítása minimumra

Docker install

Ha WSL 2 üzenet kapsz, akkor olvasd ezt el
Utána meg ezt
- Telepítsd az Ubuntu-t a Store-ból
Engedélyezd a WSL-t egy PowerShell-ből
- Adminént indíts el egy új PowerShell-t
- Állítsd át a WSL 1-et WSL 2-esre így

Valószínű, hogy kell frissítsd a kernel-t
Állítsd át az Ubuntu-t WSL 2-esre így. Kész!

Docker install

Telepítés felhőben
- Regisztráció az AWS-re
- Belépés root user-ként
- EC2 console
- Instances → Launch Instance

Docker install

Ubuntu 18 operációs rendszer
t2.micro típusú (ingyenes)

Docker install

Edit storage → 29GB

Edit security groups → Create new

Docker install

All traffic / Anywhere
Nem biztonságos, ez csak teszt!

Docker install

New key pair
Mentsd el!

Docker install

Kiválaszt
Connect
browser-based Ubuntunál nem működik egyből!

Docker install

WIndows: Download & install SmarTTY → New SSH Connection
Linux/Mac: ssh

Host name

Docker install

Docker config

sudo bash

apt-get update

apt-get upgrade

apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg-agent \
    software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"
   
apt-get update

apt-get install docker-ce docker-ce-cli containerd.io

docker run hello-world

docker ps

Docker config

sudo snap instal docker

Docker config

docker volume create portainer_data

docker run -d -p 8000:8000 -p 9000:9000 --name=portainer --restart=always \
	-v /var/run/docker.sock:/var/run/docker.sock \
    -v portainer_data:/data portainer/portainer
    
docker ps

your-host-name.amazonaws.com:9000

Portainer!

Docker config

docker ps

docker ps -a

docker ps -q

docker ps -aq

docker stop 37e4eb95ddad

docker start 37e4eb95ddad

docker stop 37e4eb95ddad

docker rm 37e4eb95ddad

docker ps

(linux only)
docker stop `docker ps -q`

(linux only)
docker rm `docker ps -aq`

Container management

Towards Data Science - Docker intro

1. Automatikus adatgyűjtés és monitorizálás

Data processing environment

Jupyter Docker stacks

Jupyter in Docker

docker run -p 8888:8888 jupyter/base-notebook

docker run -d -p 8888:8888 jupyter/base-notebook


docker ps -q

docker exec -it <mycontainer> bash

jupyter lab list

exit

(CLEANUP)
https://www.digitalocean.com/community/tutorials/how-to-remove-docker-images-containers-and-volumes

docker system prune

(CAUTION!)
docker system prune -a

1. Automatikus adatgyűjtés és monitorizálás

Monitoring

~ Grafana ~

Grafana in Docker

docker run -p 3000:3000 --name grafana grafana/grafana

docker run -d -p 3000:3000 --name grafana grafana/grafana

// alap user/jelszó: admin/admin

admin/admin

Chronograf in Docker

docker run -p 8888:8888 -v chronograf:/var/lib/chronograf chronograf

docker run -p 8889:8888 -v chronograf:/var/lib/chronograf chronograf

docker run -d -p 8889:8888 -v chronograf:/var/lib/chronograf chronograf

1. Automatikus adatgyűjtés és monitorizálás

Recording

~ InfluxDB ~

Influx in Docker

docker run -p 8083:8083 -p 8086:8086 -v influxdb:/var/lib/influxdb influxdb:1.8

docker run -d -p 8083:8083 -p 8086:8086 -v influxdb:/var/lib/influxdb influxdb:1.8

(linux only)
curl -G http://localhost:8086/query --data-urlencode "q=SHOW USERS"

docker run -d -p 8083:8083 -p 8086:8086 -v influxdb:/var/lib/influxdb influxdb

1. Automatikus adatgyűjtés és monitorizálás

b. Workshop

docker-compose

version: '3'
services:
   grafana:
      image: grafana/grafana
      container_name: grafana
      restart: always
      ports:
         - '3000:3000'
   influxdb:
      image: influxdb:1.8
      container_name: influxdb
      restart: always
      ports:
         - '8086:8086'
         - '8083:8083'

Egyszerre több Docker-konténer indítása

docker-compose

version: '3'
services:
   grafana:
      image: grafana/grafana
      container_name: grafana
      restart: always
      ports:
         - '3000:3000'
      volumes:
         - ./az_en_grafana_mappam:/var/lib/grafana

volume: permanens tárhely

docker-compose

version: '3'
services:
   grafana:
      image: grafana/grafana
      container_name: grafana
      restart: always
      ports:
         - '3000:3000'
      volumes:
         - ./az_en_grafana_mappam:/var/lib/grafana
      networks:
         dc2net:
            ipv4_address: 172.28.1.1
networks:
    dc2net:
        ipam:
            driver: default
            config:
                - subnet: 172.28.0.0/16

network: fix IP-cím

docker-compose

version: '3'
services:
   grafana:
      image: grafana/grafana
      container_name: grafana
      restart: always
      user: '0'
      ports:
         - '3000:3000'
      volumes:
         - ./az_en_grafana_mappam:/var/lib/grafana
      networks:
         dc2net:
            ipv4_address: 172.28.1.1
networks:
    dc2net:
        ipam:
            driver: default
            config:
                - subnet: 172.28.0.0/16

Linux-on: user: '0' = root/admin jogok

docker-compose

version: '3'
services:
   grafana:
      image: grafana/grafana
      container_name: grafana
      restart: always
      user: '0'
      ports:
         - '3000:3000'
      volumes:
         - ./az_en_grafana_mappam:/var/lib/grafana
      networks:
         dc2net:
            ipv4_address: 172.28.1.3
   chronograf:
      image: chronograf
      container_name: chronograf
      restart: always
      ports:
         - '8889:8888'
      volumes:
         - ./az_en_chronograf_mappam:/var/lib/chronograf
      networks:
         dc2net:
            ipv4_address: 172.28.1.4
   influxdb:
      image: influxdb
      container_name: influxdb
      restart: always
      ports:
         - '8086:8086'
         - '8083:8083'
      volumes:
         - ./az_en_influxdb_mappam:/var/lib/influxdb
      networks:
         dc2net:
            ipv4_address: 172.28.1.2
   jupyter:
      image: jupyter/base-notebook
      container_name: jupyter
      restart: always
      user: '0'
      ports:
         - '8888:8888'
      volumes:
         - ./az_en_jupyter_mappam:/home/jovyan/work
      networks:
         dc2net:
            ipv4_address: 172.28.1.1
networks:
    dc2net:
        ipam:
            driver: default
            config:
                - subnet: 172.28.0.0/16

teljes docker-compose.yml

docker-compose

mkdir az_en_projektem

cd az_en_projektem

<ide jön a docker-compose.yml>

docker-compose up

docker-compose down

docker-compose up -d

docker-compose down --volumes

docker-compose up

docker-compose

version: '3'
services:
   jupyter:
      build: ./az_en_jupyter_mappam
      container_name: jupyter
      restart: always
      user: '0'
      ports:
         - '8888:8888'
      volumes:
         - ./az_en_jupyter_mappam:/home/jovyan/work

docker image build

Dockerfile

FROM jupyter/base-notebook
RUN pip install pandas
RUN pip install influxdb
ENTRYPOINT ["jupyter", "lab", "--ip=0.0.0.0", "--allow-root" , "--NotebookApp.token=UBBxBI2"]

./az_en_jupyter_mappam/Dockerfile

Jupyer ➡ InfluxDB

import pandas as pd
from influxdb import DataFrameClient

user = 'root'
password = 'root'
host='influxdb' #172.28.1.2 #localhost #3.14.5.146 - kozos osztaly InfluxDB szerver
port=8086
dbname='base' #az en adatbazis nevem
protocol = 'line' #json
client = DataFrameClient(host, port, user, password, dbname)

client.query('show databases')

client.drop_database(dbname)
client.drop_retention_policy(dbname)
client.create_database(dbname)
client.create_retention_policy(dbname, '1000d', 1, default=True)

client.query('show databases')

parser.ipynb

Jupyer ➡ InfluxDB

import time
from random import randrange

measurement='teszt'

for i in range(5000):
    now=pd.to_datetime('now')
    value=randrange(10)
    print(now)
    time.sleep(2)
    data={'a':{'date':now,'value':value,'szin':'piros','nev':'Denes'}}
    df=pd.DataFrame(data).T.set_index('date')
    df.index=pd.to_datetime(df.index)
    df['value']=df['value'].astype(int)
    client.write_points(df, measurement, protocol=protocol,
                        field_columns=['value'],
                        tag_columns=['szin','nev'])
    print('success')

parser.ipynb

2. Mesterséges intelligencia rendszerek és gépi tanulás

a. Bevezető

Órarend - 2a- 1. nap

17:30-18:00 Bevezető / Mi a gépi tanulás?
18:10-18:40 A gépi tanulás felhasználása
18:45-19:45 Alapvető gépi tanulási algortimusok
19:45-20:00 Adatfeldolgozási környezet
- Docker Jupyter / Anaconda Jupyter / Google Colab

Órarend - 2a- 2. nap

17:00-20:00 Algoritmusok alkalmazása
- Lineáris regresszió / Logisztikus regresszió
- Neurális hálók / Support vector machines
- Osztályozás / Classification
- Csoportosítás / Clustering

Credit

Andrew Ng - Stanford University Machine learning course
Andrew Ng - deeplearning.ai

Microsoft Machine Learning

Google Digital Workshop

Datacamp: Machine Learning for Business course

Towards Data Science blog

Szegedi Egyetem gépi tanulás kurzus

Budapesti Műszaki Egyetem gépi tanulás kurzus

Credit

2. Mesterséges intelligencia rendszerek és gépi tanulás

Mi a mesterséges intelligencia?

2. Mesterséges intelligencia rendszerek és gépi tanulás

Mi a gépi tanulás?

AI & Gépi tanulás

Olvasd el: Forbes

AI & Gépi tanulás

AI & ML Magyarországon

Gépi vs. Mély tanulás

2. Mesterséges intelligencia rendszerek és gépi tanulás

Mi a gépi tanulás?

1. Rendet rakni egy rendetlen világban

Gépi tanulás

Meghatározások

2. Kicsi, nagy, összetett problémák megoldása

Gépi tanulás

Meghatározások

3. Üzleti problémák megoldása

Gépi tanulás

Meghatározások

Gépi tanulás

Mi a gépi tanulás és hogyan működik?

Gépi tanulás

A gépi tanulás (ML) matematikai adatmodellekkel tanít be számítógépeket közvetlen felügyelet nélkül. Ez a mesterséges intelligencia (AI) egy részhalmaza. A gépi tanulás algoritmusokkal azonosít mintákat az adatokban, amelyekkel ezután adatmodellt készít, és előrejelzéseket végez. A gépi tanulás eredményei az adatok és a tapasztalat mennyiségének növekedésével egyre pontosabbak – ahogyan az emberek is egyre ügyesebbé válnak a gyakorlás által.

A gépi tanulás rendkívül könnyen alkalmazkodik különböző helyzetekhez, így ideális olyan forgatókönyvekben, ahol az adatok folyamatosan változnak, a kérés vagy feladat típusa módosulhat, vagy egy megoldás kódolása szinte lehetetlen lenne.

Meghatározások

Gépi tanulás

A gépi tanulás és a mesterséges intelligencia kapcsolata

A gépi tanulás a mesterséges intelligencia részhalmazának tekintendő. Egy „intelligens” számítógép emberi gondolkodást kísérel meg, és egyedül hajt végre feladatokat. A számítógépek emberi logika használatára való betanításának egyik módja egy neurális hálózat használata, amely olyan algoritmusok sorozata, amelyek az emberi agy modellje alapján készültek.

Gépi tanulás

A gépi tanulás és a prediktív elemzés kapcsolata

Habár a gépi tanulás a prediktív elemzés egyik típusa, fontos különbség a kettő között az, hogy a gépi tanulást jelentősen könnyebb bevezetni valós idejű frissítésekkel, ahogy egyre több adatot gyűjt. A prediktív elemzés általában statikus adatkészlettel működik, és rendszeresen frissíteni kell.

Gépi tanulás

A gépi tanulás és a mély tanulás kapcsolata

A mély tanulás a gépi tanulás egy speciális formája, amely neurális hálózatokkal szolgáltat válaszokat. A mély tanulás képes egyedül pontosságot mérni, az adatokat pedig az emberi agyhoz hasonlóan osztályozza – így a létező legemberibb mesterséges intelligenciák működését is segíti.

2. Mesterséges intelligencia rendszerek és gépi tanulás

Mire jó a gépi tanulás?

A gépi tanulás előnyei

A gépi tanulásnak számos alkalmazási módja van, a lehetőségek tárháza pedig egyre szélesebb. Íme a technológia néhány legnagyobb előnye, amelyet már számos vállalkozás kihasznál.

Gépi tanulás

Előnyei

Feltáró elemzés

A gépi tanulással azonosítható mind a strukturált, mind a strukturálatlan adatokban rejlő minta vagy szerkezet, így könnyebben látható, mit is mutatnak az adatok.

Az adatintegritás javítása

A gépi tanulás kiválóan használható az adatbányászatban, sőt akár annak lehetőségeit is képes kiterjeszteni.

Gépi tanulás

Előnyei

A felhasználói élmény fejlesztése

Adaptív interfészek, célzott tartalom, csevegőrobotok, hangvezérelt virtuális asszisztensek – ezek mind példák arra, hogy a gépi tanulás hogyan segíthet optimalizálni az ügyfélélményt.

Kockázatcsökkentés

Mivel a csalási taktikák folyamatosan változnak, a gépi tanulásnak lépést kell tartani velük – képesnek kell lennie megfigyelni és azonosítani az új mintákat, hogy megelőzhesse a rosszindulatú próbálkozásokat.

Gépi tanulás

Előnyei

Ügyfelek viselkedésének előrejelzése

A gépi tanulással ügyfélhez kapcsolódó adatok bányászhatók, amelyekkel könnyebben azonosíthatók minták és viselkedésmódok, ami optimalizált termékjavaslatokat és a lehető legjobb vásárlói élményt eredményezheti.

Alacsonyabb költségek

A gépi tanulás jelentős szintű folyamatautomatizálást tesz lehetővé, ami időt és erőforrásokat szabadít fel, Ön és csapata így a legfontosabb ügyekre összpontosíthat.

Gépi tanulás

Előnyei

2. Mesterséges intelligencia rendszerek és gépi tanulás

A gépi tanulás felhasználása

Értékek előrejelzése

A regressziós algoritmusok értékekből hoznak létre modellt, amely alapján előrejelzéseket készíthetnek. Ez hasznos a változók okainak és okozatainak azonosításában. A regressziós tanulmányok segítenek előrejelezni a jövőt, ami segíthet a termékekre vonatkozó igényének előrejelzésében, az értékesítési számadatok tervezésében, vagy a kampányeredmények megbecslésében.

Gépi tanulás

Felhasználása

Szokatlan előfordulások azonosítása

Az anomáliadetektálási algoritmusokat gyakran használják lehetséges kockázatok észlelésére, ugyanis képesek kiszűrni a várt normától eltérő adatokat. Berendezések meghibásodása, szerkezeti hibák, szöveges hibák, valamint csalások – néhány példa arra, hogy a gépi tanulás hogyan használható veszélyforrások esetén.

Gépi tanulás

Felhasználása

Struktúra keresése

A fürtözési algoritmusok gyakran a gépi tanulás első lépését képezik, és az adatkészlet mögöttes struktúráját fedik fel. A gyakori elemek kategorizálása – a fürtözés – gyakori eljárás a piaci szegmentálásban, és olyan elemzéseket nyújthat, amelyek elősegítik a megfelelő ár kiválasztását, valamint az ügyfelek preferenciáinak megjósolását.

Gépi tanulás

Felhasználása

Kategóriák előrejelzése

A besorolási algoritmusok segítenek meghatározni az információk megfelelő kategóriáját. A besorolás a fürtözéshez hasonlít, azonban eltér abban, hogy a felügyelt tanulásban alkalmazzák, ahol előre meghatározott címkék szerepelnek.

Gépi tanulás

Felhasználása

Banki szolgáltatások és pénzügyek

A kockázatkezelés és a csalások megelőzése olyan kulcsfontosságú területek, ahol a gépi tanulás hatalmas hozzáadott értéket jelent a pénzügyi környezetekben.

Gépi tanulás

Iparágak

Egészségügy

Diagnosztikai eszközök, páciensfigyelés és járványok előrejelzése – néhány példa arra, hogy a gépi tanulás hogyan segíthet a páciensek kezelésének továbbfejlesztésében.

Szállítmányozás

Forgalmi anomáliák azonosítása, kézbesítési útvonal optimalizálása, önvezető autók – néhány példa arra, hogy a gépi tanulás hogyan javíthat a szállítmányozás minőségén.

Gépi tanulás

Iparágak

Ügyfélszolgálat

Kérdések megválaszolása, az ügyfélszándék megbecslése, virtuális segítségnyújtás – néhány példa arra, hogy a gépi tanulás hogyan képes támogatni az ügyfélszolgálati ipart.

Kiskereskedelem

A gépi tanulással a kiskereskedők könnyebben elemezhetnek vásárlási mintákat, optimalizálhatják az ajánlatokat és a díjszabást, valamint használhatják az adatokat az ügyfélélmény javítására.

Gépi tanulás

Iparágak

Mezőgazdaság

A munkaerőhiányt pótló robotok fejlesztése, növényi betegségek diagnosztizálása, vagy a talajminőség figyelése – néhány példa arra, hogy a gépi tanulás miként segíthet a mezőgazdaság fejlesztésében.

Gépi tanulás

Iparágak

2. Mesterséges intelligencia rendszerek és gépi tanulás

Tanulási technikák

Gépi tanulás

Felügyelt tanulás

Címkékkel vagy struktúrával ellátott adatkészletek esetén az adatok „betanítják” a gépet, így az hatékonyabban végezhet előrejelzéseket és hozhat döntéseket.

Gépi tanulás

Felügyelet nélküli tanulás

Adatok fürtökbe való csoportosításával könnyebben foglalkozhat címkék vagy struktúra nélküli adatokkal, valamint azonosíthat mintákat és kapcsolatokat.

Megerősítő tanulás

Az ügynök (valaki vagy valami nevében tevékenykedő számítógépprogram) az emberi operátort helyettesíti, és segít egy visszajelzési hurok alapján meghatározni az eredményt.

Gépi tanulás

Tanulási technikák

Gépi tanulás

Tanulási technikák

Gépi tanulás

Tanulási technikák

2. Mesterséges intelligencia rendszerek és gépi tanulás

Algoritmusok

A lineáris regressziós algoritmusok megmutatják vagy előrejelzik két változó vagy tényező közötti kapcsolatot azzal, hogy egy folytonos egyenes vonalat illesztenek az adatokra. A vonal gyakran a Squared Error Cost függvény (négyzetes hibaköltség) használatával lesz kiszámítva.

Gépi tanulás

A logisztikai regressziós algoritmusok egy folytonos S alakú görbét illesztenek az adatokra.

Gépi tanulás

A Naïve Bayes algoritmusok kiszámítják az esemény előfordulásának valószínűségét egy kapcsolódó esemény bekövetkezése alapján.

Gépi tanulás

A támogatási vektorgépek egy hipersíkot rajzolnak a két legközelebbi adatpont között. Ez marginalizálja az osztályokat, és maximalizálja a közöttük lévő távolságot, hogy egyértelműbben meg lehessen különböztetni őket.

Gépi tanulás

A döntési fa típusú algoritmusok az adatokat két vagy több homogén halmazba osztják szét. Ha–akkor típusú szabályokat használnak arra, hogy az adatokat elkülönítsék az adatpontok közötti legjelentősebb különbségek alapján.

Gépi tanulás

A K-legközelebbi szomszédos algoritmusok az összes rendelkezésre álló adatpontot tárolják, és minden új adatpontot a hozzájuk legközelebb eső adatpontok alapján osztályoznak a távolsági függvénnyel történő mérés alapján.

Gépi tanulás

A véletlenszerű erdő típusú algoritmusok döntési fákon alapulnak, de egy fa létrehozása helyett faerdőt hoznak létre, majd az erdőben lévő fákat véletlenszerűen rendezik el. Ezután összesítik a döntési fák különböző véletlenszerű formációinak szavazatait, és ez alapján határozzák meg a tesztobjektum végső osztályát.

Gépi tanulás

A gradient boosting típusú algoritmusok olyan predikciós modellt hoznak létre, amely gyenge predikciós modelleket (általában döntési fákat) csomagol egybe egy olyan csomagolási folyamattal, amely javítja a modell általános teljesítményét.

Gépi tanulás

A K-közepes típusú algoritmusok az adatokat fürtökbe csoportosítják úgy, hogy a K egyenlő a fürtök számával. Az egyes fürtökön belüli adatpontok homogének, és heterogének más fürtök adatpontjaihoz képest.

Gépi tanulás

2. Mesterséges intelligencia rendszerek és gépi tanulás

Gépi tanulási környezet

Felhő-számítástechnika

A könnyen beállítható és üzembe helyezhető felhő ideális bármilyen méretű számítási feladat kezeléséhez, Ön így igény szerint csatlakoztathat és méretezhet adatforrásokat anélkül, hogy ehhez szükséges speciális tudásra lenne szüksége.

Gépi tanulás

Környezet

Akadálymentes fejlesztési környezet

Az ideális platform minden képzettségi szintet támogat akadálymentes szerzői lehetőségekkel. Segítségével kihasználhatja a gépi tanulás előnyeit, akár főleg kódokkal dolgozik, akár kódolást nem igénylő, automatizált eszközöket és húzással működő felületeket szeret inkább használni.

Gépi tanulás

Környezet

Beépített támogatás az ismerős keretrendszerekhez

Akár ONNX, Python, PyTorch, scikit-learn vagy TensorFlow könyvtárat használ, olyan platformot célszerű alkalmaznia, amelyben a már jól ismert és kedvelt eszközeivel dolgozhat.

Gépi tanulás

Környezet

Nagyvállalati szintű biztonság

Olyan platformot keressen, amely nagyvállalati szintű cégirányítást, biztonságot és vezérlést nyújt az infrastruktúra védelme érdekében.

2. Mesterséges intelligencia rendszerek és gépi tanulás

Problémamegoldás

1. lépés: Adatok összegyűjtése és előkészítése

Az adatforrások azonosítása után a rendszer lefordítja a rendelkezésre álló adatokat. A felhasználható adattípusok segítenek meghatározni, hogy mely gépi tanulási algoritmusokat használhatja. Az adatok áttekintésekor a rendszer azonosítja az anomáliákat, kialakít egy struktúrát, valamint megoldja az adatintegritással kapcsolatos problémákat.

Gépi tanulás

Lépések

2. lépés: A modell tanítása

Az előkészített adatok két csoportra oszlanak: egy betanítási készlet és egy tesztelési készlet. A betanítási készlet az adatok nagy része, amellyel a modelleket a lehető legpontosabban finomhangolhatja.

Gépi tanulás

Lépések

3. lépés: A modell ellenőrzése

Ha készen áll a végső adatmodell kiválasztására, a tesztelési készlettel kiértékelheti a teljesítményt és a pontosságot.

Gépi tanulás

Lépések

4. lépés: Az eredmények értelmezése

Tekintse át az eredményeket, és végezze el az elemzéseket, vonja le a következtetéseket, és tervezze meg a kimeneteket.

Gépi tanulás

Lépések

2. Mesterséges intelligencia rendszerek és gépi tanulás

Példák

Gépi tanulás

Példák

https://towardsdatascience.com/

https://colab.research.google.com/github/jakevdp/PythonDataScienceHandbook/blob/master/notebooks/05.02-Introducing-Scikit-Learn.ipynb#scrollTo=-lRBrg12-kbg

https://campus.datacamp.com/courses/machine-learning-for-everyone/machine-learning-models?ex=4

https://campus.datacamp.com/courses/data-science-for-business/prediction?ex=1

https://campus.datacamp.com/courses/machine-learning-for-business/machine-learning-types?ex=1

Gépi tanulás

Példák