SGDs 簡介

四資管三A

B11023038 林榮顯

SGDs 簡介

1 消除貧窮

2 終結飢餓

3 健康與福祉

4 優質教育

5 性別平等

6 淨水與衛生

7 可負擔的永續能源

8 就業與經濟成長

9 永續工業與基礎建設

10 消弭不平等

11 永續城鄉

12 責任消費與生產

13 氣候行動

14 永續海洋與保育

15 陸域生態

16 制度的正義與平衡

17 永續發展夥伴關係

案例介紹

維修咖啡館

案例介紹

維修咖啡館

案例介紹

維修咖啡館

結合維修事物

與社交活動

案例介紹

維修咖啡館

由志工幫助上門的顧客，修復已經損害的各種物品。

案例介紹

維修咖啡館

在等待修復期間

顧客可以享用咖啡，進行閒聊

案例介紹

維修咖啡館

想學習修復技術的人

也可以到這個地方，交換技術心得

案例介紹

維修咖啡館

12 責任消費與生產

案例介紹

維修咖啡館

12 責任消費與生產

coscup 2023

Day1

基於Airflow的ETL框架：簡化結構化資料處理流程
你終究是要學 SQL 的，那為什麼不一開始就用 DuckDB
~~意想不到的Jupyter用法－跟AI協作做出萬能的DevOps控制台~~
從只會 Docker 到上手 Kubernetes
~~Intro to ROS:自駕車專題分享~~
~~關於我從做專題到發論文這檔事~~

Day2

~~如何實作一個電子報訂閱與發送系統 — 以 COSCUP 電子報訂閱為例~~
~~分岔一本書：《美學程式設計》台灣版翻譯計畫~~
~~英雄聯盟AI評論員~~

發簡訊

coscup 2023

Day1

coscup 2023

Day1

基於Airflow的ETL框架

簡化結構化資料處理流程

共筆連結

Day1

基於Airflow的ETL框架

簡化結構化資料處理流程

工作流程管理系統

Workflow Management System

Day1

基於Airflow的ETL框架

簡化結構化資料處理流程

自動化的痛點

程式沒有被執行：

有時程式發生錯誤沒有被執行，都要等到下游的使用者發現異常後，才發現出現異常。

不知道程式出的 Bug 在哪裏：

如果專案複雜，結合眾多程式，工程師要花很多時間查 log ，找出真正出問題的地方，花大量時間考古。

來源表眾多：

有些專案需要數百張表，執行失敗的時候，卻要一張張看到底是哪張表沒有到位。

出問題後，所有程式都被迫停止：

傳統的 Cron Job 會定期執行程式，但可能會因為連線不到而停止，造成整個專案系統停滯。

Day1

基於Airflow的ETL框架

簡化結構化資料處理流程

自動化的痛點

程式沒有被執行：

有時程式發生錯誤沒有被執行，都要等到下游的使用者發現異常後，才發現出現異常。

😊 ️Airflow 可以透過 Email 通知工作的成功或失敗，及早處理。

不知道程式出的 Bug 在哪裏：

如果專案複雜，結合眾多程式，工程師要花很多時間查 log ，找出真正出問題的地方，花大量時間考古。

😊 Airflow 的介面可以快速查找異常的地方，點進去查 log，不用到控制台裡大海撈針。此外，Graph View可以顯示工作之間的關係，管理有相依性的程式。

來源表眾多：

有些專案需要數百張表，執行失敗的時候，卻要一張張看到底是哪張表沒有到位。

😊 Airflow 的介面可以看哪張表沒有到位，以簡明的視覺畫呈現。

出問題後，所有程式都被迫停止：

傳統的 Cron Job 會定期執行程式，但可能會因為連線不到而停止，造成整個專案系統停滯。

😊 Airflow 的 Retry 可以重跑程式，也可以只從異常的地方開始重跑，把程式拆階段來執行，不會需要全部從頭開始。

Day1

基於Airflow的ETL框架

簡化結構化資料處理流程

Day1

基於Airflow的ETL框架

簡化結構化資料處理流程

Day1

基於Airflow的ETL框架

簡化結構化資料處理流程

Day1

你終究是要學 SQL 的

那為什麼不一開始就用 DuckDB

共筆連結

coscup 2023

Day1

你終究是要學 SQL 的

那為什麼不一開始就用 DuckDB

Day1

你終究是要學 SQL 的

那為什麼不一開始就用 DuckDB

OLAP

OLTP

Day1

你終究是要學 SQL 的

那為什麼不一開始就用 DuckDB

Day1

你終究是要學 SQL 的

那為什麼不一開始就用 DuckDB

Day1

你終究是要學 SQL 的

那為什麼不一開始就用 DuckDB

Day1

從只會 Docker 到上手 Kubernete

共筆連結

coscup 2023

Day1

從只會 Docker 到上手 Kubernete

VS

Day1

從只會 Docker 到上手 Kubernete

container

VS

Day1

從只會 Docker 到上手 Kubernete

container

VS

Container Runtime

執行Container功能

container orchestration

編排Container

Day1

從只會 Docker 到上手 Kubernete

container

Container

Runtime

Day1

從只會 Docker 到上手 Kubernete

container orchestration

Day1

從只會 Docker 到上手 Kubernete

container orchestration

Day1

從只會 Docker 到上手 Kubernete

Low load

Day1

從只會 Docker 到上手 Kubernete

Hight load

Day1

從只會 Docker 到上手 Kubernete

unavailable

Day1

從只會 Docker 到上手 Kubernete

unavailable

Day1

從只會 Docker 到上手 Kubernete

輕鬆部署k8s

Day1

從只會 Docker 到上手 Kubernete

輕鬆部署k8s

測試開發

正式環境部署