本课程相关的知识框架？

• 理论基础：
  • 引力波物理 (pycbc, lalsuite, lisacode, bilby, ...)
  • 数字信号处理 (scipy, stat, ...)
  • 数理统计 (bilby, emcee, ptemcee, ptmcmc, …)
• 编程基础：
  • Python (numpy, pandas; matplotlib; ...),
  • AI (scikit-learn, XGBoost pytorch, tensorflow, jax, ...)
  • Linux (docker, github, bash, vim, emacs …)
• 硬件基础：
  • 主板、内存，GPUs，显存 ...
  • AI时代程序员都应该了解的GPU基础知识

本课程相关的知识框架？

一、引力波数据分析与机器学习

• 概述：引力波数据分析 vs 人工智能
• 人工智能 vs 机器学习 vs 深度学习
• 机器学习的定义、目标和过程；常见类型
• 机器学习项目开发规划与准备
• 机器学习开发任务实例

二、引力波数据分析与深度学习

• 深度学习技术的概述
• 深度学习技术的不能与可解释性
• 神经网络基础 ANN
• 卷积神经网络 CNN
• PyTorch 项目实战：CNN 识别 BBH 信号
  • 数据预处理
  • 模型搭建
  • 模型验证

三、Kaggle 黑客马拉松

• 题目：CNN 识别 BBH 信号

四、引力波数据分析与人工智能（前沿）

• 深度生成模型
• 生成对抗网络（GAN）
• 流模型（Flow-based model）
• Transformer，LLM，GPT
• (optional) Diffusion

本课程是什么？不是什么？

• 不是完整覆盖所有 API 等控件的 PyTorch 使用指南；
• 不涉及过于细节的机器学习理论和艰深的算法原理，忽略绝大多数无关紧要的数学细节
• 不会系统概述数据清理、特征工程等数据准备工作；

• 无需精通编程，了解最基本的数据驱动思维方式；
• 完整机器学习项目的基本流程和思维套路；
• 深度学习技术导论
• 深刻理解“学习”是什么意思
• PyTorch 的入门级项目代码；
• 引力波数据处理与人工智能技术结合的常见科研套路
• 前沿深度学习模型的训练逻辑和引力波数据应用案例

本课程的学习方法是什么？

引力波天文学：引力波数据分析

©Floor Broekgaarden (repo)

• Detecting gravitational waves require a mix of FIVE key ingredients:
  1. good detector technology
  2. good waveform predictions
  3. good data analysis methodology and technology
  4. coincident observations in several independent detectors
  5. coincident observations in electromagnetic astronomy

—— Bernard F. Schutz

​​DOI:10.1063/1.1629411 

人工智能时代的引力波天文学

• AI for Science $\rightarrow$ AI for GW
• AI has great potential to revolutionize GW astronomy by improving data analysis, modeling, and detector development.

1701.00008 (PRD)
1712.06041 (PRL)

机器学习的定义

• “机器学习是对能通过经验自动改进的计算机算法的研究。”
  Machine Learning is the study of computer algorithms that improve automatically through experience.

• “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”
  Machine learning is programming computers to optimize a performance criterion using example data or past experience. ——Alpaydin (2004)

• A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. ——Tom Mitchell (1997)

机器学习的目标

• 任务 [task]：判断某草莓是否是甜草莓

  • 机器学习就是找到草莓的不同 特征 [feature] 维度（尺寸、颜色、成熟度、...）与草莓 标签 [label]（酸、甜）之间的映射关系。

机器学习的过程

• 机器学习就是找到 特征 [feature] 与 标签 [label] 之间的关系，利用算法从一类训练数据或信息中自动分析并获得该类数据或信息的规律，并利用获取的规律对未知数据进行预测。

• 上述寻找关系和规律的过程，称为 训练 [train]。训练完成后的结果，是得到一个 机器学习模型 [machine learning model]。

机器学习的常见类型：监督学习

• 监督学习 是在有指导的前提下让机器进行学习，这种指导的关键是给训练数据标注好 标签 [label] 。

• 监督学习的目标在观察完一些事先标注过的训练数据（输入和预期输出）后，这个模型对任何可能出现的输入去预测其输出。要达到此目的，学习者必须以“合理”（归纳规律）的方式从现有的数据中一般化到未观察到的情况。在人类和动物感知中，则通常被称为 概念学习。

机器学习的常见类型：监督学习 vs 匹配滤波

• 监督学习 是在有指导的前提下让机器进行学习，这种指导的关键是给训练数据标注好 标签 [label] 。

• 监督学习的目标在观察完一些事先标注过的训练数据（输入和预期输出）后，这个模型对任何可能出现的输入去预测其输出。要达到此目的，学习者必须以“合理”（归纳规律）的方式从现有的数据中一般化到未观察到的情况。在人类和动物感知中，则通常被称为 概念学习。

• 基于模板的引力波信号搜寻：
  • 若某一段时域数据流作为输入，探测统计量 (即匹配滤波信噪比) 是另一段输出的时序数据流，问怎样的线性滤波器 (模板) 可以使得输出结果最大？

机器学习的常见类型：非监督学习

• 无监督学习 是没有指导的学习过程，待学习的训练数据没有标签的。

• 机器学习算法通过某种方式在数据中寻找共同特征，并将有共同特征的数据聚合在一起。有时也会把这个过程成为“聚类” (cluster) 。

• 聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集，这样让在同一个子集中的成员对象都有相似的一些属性。

• 无监督学习算法通过自由的探索数据，所学到的大部分内容必须包括理解数据本身，而不是将这种理解应用于特定任务。所以，通往通用智能的道路上必须要掌握无监督学习的技能。

• 无监督学习的过程和人类的 归纳 学习过程相似。

机器学习的常见类型：非监督学习

• ​​DOI:10.1016/j.ins.2018.02.068

• 无监督学习 是没有指导的学习过程，待学习的训练数据没有标签的。

• 机器学习算法通过某种方式在数据中寻找共同特征，并将有共同特征的数据聚合在一起。有时也会把这个过程成为“聚类” (cluster) 。

• 聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集，这样让在同一个子集中的成员对象都有相似的一些属性。

• 无监督学习算法通过自由的探索数据，所学到的大部分内容必须包括理解数据本身，而不是将这种理解应用于特定任务。所以，通往通用智能的道路上必须要掌握无监督学习的技能。

• 无监督学习的过程和人类的 归纳 学习过程相似。

机器学习模型的分类

• 非参数模型：

  • 不对数据分布进行假设，数据的所有统计特性都来源于数据本身

  • 非参数模型的时空复杂度一般比参数模型大得多

  • 非参数模型是自适应数据的，模型参数随样本变化而变化

条件概率 $P(Y|X)$ 属于高斯分布

线性回归模型

• 根据 数据分布 分类：参数 vs 非参数模型

  • 这里的“参数”并不是模型中的参数，而是数据分布的参数

• 参数模型：

  • 对数据分布进行假设，待求解的数据模式/映射可以用一组有限且固定数目的模型参数进行刻画

如：线性/逻辑回归、感知机、K 均值聚类

优点：简洁、快速、数据需求更少

局限性：指定函数形式、有限的复杂度、易欠拟合

如：随机森林、朴素贝叶斯、SVM、神经网络

优势：函数可变性、模型强大假设少、拟合性好

局限性：数据需求量大、速度慢、易过拟合、预测解释性不高

注: 有些时候数据没有提供足够信息来事先假设分布、或者问题本身没有明显的分布特性

机器学习模型的分类

https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html

机器学习模型的分类

https://medium.com/@chris_bour/an-extended-version-of-the-scikit-learn-cheat-sheet-5f46efc6cbb

• 开发流程

机器学习项目开发规划与准备

https://ml-ops.org/content/end-to-end-ml-workflow

• 数据准备

机器学习项目开发规划与准备

• 在大部分人工智能项目工作时间中，数据的准备和数据 pipeline 的搭建占到近 80% 的工作量。

• 一般来说，训练数据规模越大，越可以带来更好的 AI 模型性能。

• 数据划分

机器学习项目开发规划与准备

• 数据标注后需要划分为训练集 [train] 与测试集 [test] (简版)

  • 训练集：用于完成模型训练任务

  • 测试集：用于对模型的泛化效果进行检验

  • 拆分比例根据具体任务决定，通常训练集的比重较大，一个可能的划分比例是：训练集数据数量:测试集数据数量=8:2

• 特征工程 [feature engineering]

  • 特征提取（feature extraction）一般是在特征选择之前，它提取的对象是原始数据，目的就是自动地构建新的特征，将原始数据转换为一组具有明显物理意义（比如 Gabor、几何特征、纹理特征）或者统计意义的特征（也包括PCA，SVD等方法在内）

机器学习项目开发规划与准备

PRD 105, 083007 (2022)

• 特征工程 [feature engineering]

  • 特征构建（feature construction） 指从原始数据中人工的构建新的特征。

  • 需要花时间去观察原始数据，思考问题的潜在形式和数据结构，对数据敏感性和机器学习实战经验能帮助特征构建。

机器学习项目开发规划与准备

CQG 34, 9 (2017): 094003