基于人工智能的引力波数据分析

王赫

2026/08/07

ICTP-AP, UCAS

hewang@ucas.ac.cn

PART 1

  • What Is Machine Learning?

    — The basics and why it matters

  • Deep Learning: When Machines Start to See and Think
    — From neural networks to powerful representations

  • Gravitational Waves Meet Machine Learning
    — How ML is reshaping data analysis in GW astronomy

  • Let’s Get Practical: Searching for Gravitational Waves
    — A hands-on look at applying ML in real GW searches

  • LLMs for Gravitational Waves: My Ongoing Work

    — Towards automated and interpretable scientific discovery

Content

  • AI for GW 的学习材料
  • Normalizing Flows for PE
    • History \(\rightarrow\) DINGO
    • Current status （提及 DINGO for LISA, our SCPMA, our review）
    • Mathematics of nflow
      • Change of Variables
      • 交叉熵与KL散度
    • How to use conditional nflow for inference
      • what is conditioner
      • dataflow (SVD)
      • 假设检验；IS；KS test
      • verse Bayesian?
    • What is SBI 
    • Let's coding!
  • 引力波天文学
  • 引力波数据分析

引力波天文学 · 数据处理

引力波天文学是个啥？

  • 引力波是时空的涟漪。

  • 大物体的引力扭曲空间和时间，或称为“时空”，就像保龄球在弹跳床上滚动时改变其形状一样。较小的物体因此会以不同的方式移动——就像弹跳床上朝向保龄球大小的凹陷螺旋而去的弹珠，而不是坐在平坦的表面上。

# AI for PE

引力波天文学是个啥？

  • 爱因斯坦于1916年提出广义相对论，并预言了引力波的存在
    引力波是广义相对论中的一种强场效应

    • 2015年：首次实验探测到双黑洞并合引力波

    • 2017年：首次双中子星多信使探测，开启多信使天文学时代

    • 2017年：引力波探测成果被授予诺贝尔物理学奖

    • 至今：发现了超过 90 个引力波事件

  • 2024年：中国科学院大学加入地面引力波实验LIGO科学合作组织，成为LIGO目前在中国大陆地区的第二家成员单位​。

  • 未来规划：

    • 2024-2025年：有希望探测到更多不同类型的引力波事件

    • 空间引力波探测计划 (LISA/Taiji/Tianqin) + XG (CE/ET)

LIGO-VIRGO-KAGRA network

Gravitational waves generated by binary black holes system

GW detector

# AI for PE

多信使天文学是个啥？

  • 引力波探测打开了探索宇宙的新窗口

  • 不同波源，频率跨越 20 个数量级，不同探测器

  • 四种系外信使包括：电磁辐射、引力波、中微子，以及宇宙射线。

  • 多信使天文学

# AI for PE

引力波天文学有啥科学意义？

  • 基础理论的检验与修正
    • 基础物理学
      • 引力子是否有质量, 引力波的传播速度 ...
    • 天体物理学
      • 大质量恒星演化模型, 恒星级双黑洞的形成机制 ...
    • 宇宙学
      • 哈勃常数的测量, 暗能量 ...

 

  • The current clouds over fundamental physics:
    • 量子力学与广义相对论的统一
    • 星系旋转曲线（暗物质）、宇宙加速膨胀（暗能量）
    • 哈勃常数H0
    • 中微子震荡和质量问题
    • ...

  • ​

# AI for PE

引力波天文学与数据分析

  • 伯纳德·舒尔茨曾列出成功观测引力波的五条关键要素：
    1. 良好的探测器技术
    2. 良好的波形模板
    3. 良好的数据分析方法和技术
    4. 多个独立探测器间的一致性观测
    5. 引力波天文学和电磁波天文学的一致性观测

​​DOI:10.1063/1.1629411

The first GW event of GW150914

LISA / Taiji project

LIGO-VIRGO-KAGRA

# AI for PE

引力波天文学与数据分析

GW Data Characteristics

LIGO-VIRGO-KAGRA

LISA Project

  • Noise: non-Gaussian and non-stationary

  • Signal challenges:

    • (Earth-based) A low signal-to-noise ratio (SNR) which is typically about 1/100 of the noise amplitude (-60 dB).

    • (Space-based) A superposition of all GW signals (e.g.: 104 of GBs, 10~102 of SMBHs, and 10~103 of EMRIs, etc.) received during the mission's observational run.

Matched Filtering Techniques (匹配滤波方法)

  • In Gaussian and stationary noise environments, the optimal linear algorithm for extracting weak signals

  • Works by correlating a known signal model \(h(t)\) (template) with the data.
  • Starting with data: \(d(t) = h(t) + n(t)\).
  • Defining the matched-filtering SNR \(\rho(t)\):
    \(\rho^2(t)\equiv\frac{1}{\langle h|h \rangle}|\langle d|h \rangle(t)|^2 \) , where
    \(\langle d|h \rangle (t) = 4\int^\infty_0\frac{\tilde{d}(f)\tilde{h}^*(f)}{S_n(f)}e^{2\pi ift}df \) ,
    \(\langle h|h \rangle = 4\int^\infty_0\frac{\tilde{h}(f)\tilde{h}^*(f)}{S_n(f)}df \),
    \(S_n(f)\) is noise power spectral density (one-sided).

Statistical Approaches

Frequentist Testing:

  • Make assumptions about signal and noise
  • Write down the likelihood function
  • Maximize parameters
  • Define detection statistic
    → recover MF

Bayesian Testing:

  • Start from same likelihood
  • Define parameter priors
  • Marginalize over parameters
  • Often treated as Frequentist statistic
    → recover MF (for certain priors)
# AI for PE

引力波数据分析？

程序猿？

数据分析师？

运维工程师？

# AI for PE

引力波数据分析！

引力波物理科学家

数据科学家

人工智能
算法工程师

# AI for PE

什么是一个好的科学理论？

# AI for PE

“科学理论”是核心特征？

  • Consistency（一致性）

    • 一个科学理论应该在逻辑上内部一致，并与已有的科学知识相协调，不能自相矛盾，也不应与已被广泛验证的理论冲突。一致性也是科学理论“质量好坏”的基本评判指标之一。

  • Falsifiability（可证伪性）
    • 卡尔·波普尔提出：科学理论必须可被实验证伪——即存在可观测的结果可能使它被证明为假。
      一个不能被实验证伪的理论从逻辑上讲不能算作科学理论。
  • Predictive Power（预测性）
    • 强有力的科学理论应该能够预测尚未观察到的现象或事件，并且这些预测能够被实验或观察验证。
  • Wikipedia contributors. (2025). Scientific theory. In Wikipedia.  
  • ScienceTimes. (2025). From hypothesis to breakthrough: What makes a theory scientific.  
  • Edg.it (2025). What is a good scientific theory?  
  • Wikipedia contributors. (2025). Falsifiability. In Wikipedia.  

  • 一个理论的价值，不只在于它是否优美，更在于它能否经受逻辑、观测与实验的检验。

常见的误解：

科学理论是初步的想法，当积累到足够的数据和证据时，它最终将转变为科学定律。

（理论并不会因为积累了更新或更好的证据而转变为科学定律。）

某实验或观测证明了某科学理论。

（理论只能被证伪，无法被证明，顶多只能说该证据支持了某理论。）

  • 理论提出可检验的预测，实验产生观测数据，而算法负责判断：数据究竟是否支持理论。

真理的仲裁：从物理假说到算法验证

Everything begins with physics. Everything ends with algorithms.
  • 理论家在自然的试卷上挥毫，实验家捕捉宇宙的笔触，而我们是那群在噪声中寻找真相的阅卷人。

Questions?

# AI for PE
  • 经典书籍和专著
  • 优秀课程资源
  • 值得关注的公众号
  • “引力波数据分析+人工智能” 入门学习资料推荐

人工智能技术自学材料推荐

机器学习与深度学习技术的学习材料

# GW: DL

书中例子多而形象，适合当做工具书

模型+策略+算法
（从概率角度）

机器学习
（公理化角度）

讲理论，不讲推导

经典，缺前沿

神书（从贝叶斯角度）

2k 多页，难啃，概率模型的角度出发

花书：DL 圣经

科普，培养直觉

机器学习与深度学习技术的学习材料

# GW: DL

工程角度，无需高等
数学背景

参数非参数
+频率贝叶
斯角度

统计角度

统计方法集大成的书

讲理论，
不会讲推导

贝叶斯角度

DL 应用角度

贝叶斯角度完整介绍

大量数学推导

机器学习与深度学习技术的学习材料

# GW: DL

优秀课程资源：

  • CS231n（Stanford 李飞飞）  /  CS229  / CS230
  • 吴恩达（ML / DL  ...）
  • 李宏毅（最佳中文课程，没有之一）
  • 李沐-动手学深度学习（MXNet / PyTorch / TensorFlow）
  • ... (多翻翻 Bilibili 就对了)

值得关注的公众号：

  • 机器之心（顶流）

  • 量子位（顶流）

  • 新智元（顶流）

  • 专知（偏学术）

  • 微软亚洲研究院

  • 将门创投

  • 旷视研究院

  • DeepTech 深科技（麻省理工科技评论）

  • 极市平台（技术分享）

  • ...

  • 爱可可-爱生活（微博、公众号、知乎、b站...）

    • 陈光老师，北京邮电大学PRIS模式识别实验室

引力波数据分析：知识框架

# Knowledge Framework
  • 理论基础：
    • 引力波物理
    • 数字信号处理
    • 数理统计
  • 编程基础：
    •  
    •  
    •  
  • 硬件基础：
    •  


    •  

数字信号处理 (DSP)

R.C. Cofer, Benjamin F. Harding, in Rapid System Prototyping with FPGAs, 2006

引力波物理与引力波天文学

Miller, M.C., Yunes, N. The new frontier of gravitational waves. Nature 568, 469–476 (2019).

Dieter Rasch, Dieter Schott. Mathematical Statistics, (2018)

数理统计

引力波数据分析：知识框架

# Knowledge Framework
  • 理论基础：
    • 引力波物理 (pycbc, lalsuite, lisacode, bilby, ...)
    • 数字信号处理 (scipy, stat, ...)
    • 数理统计 (bilby, emcee, ptemcee, ptmcmc, …)
  • 编程基础：
    • Python (numpy, pandas; matplotlib; ...),
    • AI (scikit-learn, XGBoost, PyTorch, TensorFlow, JAX, ...)
    • Linux (docker, github, bash, vim, emacs …)
  • 硬件基础：

  •  

关于入门学习资料

记得给课程 Star

《引力波数据探索：编程与分析实战训练营》(2023.10-2024.1)

  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)
# AI for PE

关于入门学习资料

《引力波探测中关于深度学习数据分析的研究》(2020.6)

    第一章 绪论
        1.1 引言
        1.2 多信使天文学
        1.3 研究现状、机遇与挑战
        1.4 本文研究的目标与框架
    第二章 引力波探测和数据分析理论
        2.1 引言
        2.2 引力波探测技术
        2.3 信号处理与数据分析方法
        2.4 匹配滤波技术
    第三章 深度学习的理论基础
        3.1 引言
        3.2 机器学习理论
        3.3 深度神经网络
        3.4 卷积神经网络
    第四章 引力波探测中关于神经网络的可解释性研究
        4.1 引言
        4.2 神经网络的结构
        4.3 数据集的制备和优化策略
        4.4 引力波信号识别的泛化能力
        4.5 引力波信号特征的可视化表示
        4.6 引力波波形特征的灵敏度分析

 

    第五章 卷积神经网络结构对引力波信号识别的性能研究
        5.1 引言
        5.2 引力波数据的制备和处理流程
        5.3 引力波数据分析中信噪比的比较分析
        5.4 卷积神经网络的超参数调优和性能比较
        5.5 总结与结论
    第六章 匹配滤波-卷积神经网络(MF-CNN)模型的应用研究
        6.1 引言
        6.2 时域中的匹配滤波
        6.3 用于匹配滤波的卷积神经单元
        6.4 匹配滤波-卷积神经网络(MF-CNN)模型的构造
        6.5 搜寻疑似引力波信号的策略
        6.6 数据准备与模型微调
        6.7 真实 LIGO 引力波数据上的搜寻结果
        6.8 总结与结论
    第七章 总结与展望
    附录
        A. 采样定理与 Nyquist 频率
        B. 关于功率谱密度性质的数学证明
        C. 最大似然估计和交叉熵

​

# AI for PE

关于入门学习资料

《引力波开放数据》(2018.4 - 2026.4)

# AI for PE

关于入门学习资料

《空间引力波探测数据仿真及分析春季学习班》(2026.4.23-27)

  • 空间引力波探测数据仿真及分析春季学习班将于 2026 年 4 月 23 日-27日
    在中国科学院微小卫星创新研究院举办（线上+线下）。
  • 课程大纲：空间引力波探测系统仿真（轨道动力学、无拖曳控制、光学、激光链路、引力波信号响应等）｜引力波数据预处理（时间延迟干涉等）｜空间引力波探测目标波源分析（大质量双黑洞、恒星级双黑洞、极端质量比旋近系统、银河系致密双星）｜人工智能数据分析方法｜引力波模型及引力波物理前沿。
  • 官方链接：https://mp.weixin.qq.com/s/pwkZT51m9F-_OALb0ZrSQg
  • 报名链接：https://v.wjx.cn/vm/PnPYjAJ.aspx 
# AI for PE

关于入门学习资料

《引力波数据分析中的人工智能方法》

——从信号识别到模拟推动的系统研究

  • 博士后专著
  • 正在校对中。。。
# AI for PE

《现代引力波统计推断》

—— Statistical Inference for Gravitational-Wave Data Analysis

  • 视角：基于统计推断视角系统阐述引力波数据分析
  • 深度：研究生教材 + 高级专著的混合形式
    范围：从概率基础到前沿机器学习方法的完整体系
    特色：统一的统计框架，而非技术堆砌
  • 正在建设中。。。
  • 人工智能 > 机器学习 > 深度学习
  • 机器学习的定义，目标和过程
  • 机器学习的常见类型：监督学习，非监督学习和其他类型
  • 机器学习模型的分类
  • 机器学习项目开发规划与准备
  • 机器学习项目：开发应用程序的步骤
  • scikit-learn 机器学习库：分类+回归
  • 机器学习中的特征工程（下一讲）
  • 机器学习中的模型调优与模型融合（下一讲）
  • 实战项目：对 LIGO 的 Glitch 数据实现聚类分析（下一讲）

引力波数据分析与机器学习

# GW: ML

人工智能 > 机器学习 > 深度学习

  • ​机器学习：

    • 机器学习是人工智能的一个分支，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
    • ​​线性回归模型、决策树模型、支撑向量机、马尔科夫链-蒙特卡洛方法 (MCMC) ...

  • 深度学习：

    • 深度学习就是一种典型的机器学习方法，属于机器学习的分支。是一种用神经网络实现自动特征提取的模型

    • 深度神经网络是一个万能的函数拟合器​​，可以表征任意复杂度的非线性函数映射

    • 特点：端到端、数据驱动、过参数化 ...

  • 传统​引力波数据分析方法 ~ 传统机器学习方法

  • 数据驱动，在数据上通过算法总结规律模式，应用在新数据上。

人工智能 > 机器学习 > 深度学习

人工智能

机器学习

深度学习

人工智能的一个分支。机器学习是用数据或以往的经验，以此优化计算机程序的性能标准

机器学习的一个分支。基于神经网络结构实现端到端的一种建模方法

任何能实现以人类智能相似的方式做出反应的技术

Knowledge Discovery in Database, KDD

机器学习的定义

  • “机器学习是对能通过经验自动改进的计算机算法的研究。”
    Machine Learning is the study of computer algorithms that improve automatically through experience.

  • “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”
    Machine learning is programming computers to optimize a performance criterion using example data or past experience.
    ——Alpaydin (2004)

  • A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. ——Tom Mitchell (1997)

# GW: ML

机器学习的目标

# GW: ML

  • 任务 [task]：判断某草莓是否是甜草莓

    • 机器学习就是找到草莓的不同 特征 [feature] 维度（尺寸、颜色、成熟度、...）与草莓 标签 [label]（酸、甜）之间的映射关系。

机器学习的过程

# GW: ML

  • 机器学习就是找到 特征 [feature] 与 标签 [label] 之间的关系，利用算法从一类训练数据或信息中自动分析并获得该类数据或信息的规律，并利用获取的规律对未知数据进行预测。

  • 上述寻找关系和规律的过程，称为 训练 [train]。训练完成后的结果，是得到一个 机器学习模型 [machine learning model]。

机器学习的常见类型

# GW: ML

  • 机器学习模型可以根据训练数据标签、与环境交互的方式，大致分为三种常见类型：

    • 监督学习 (supervised learning)

    • 无监督学习 (un-supervised learning)

    • 强化学习 (reinforcement learning)

机器学习的常见类型：监督学习

# GW: ML

  • 监督学习 是在有指导的前提下让机器进行学习，这种指导的关键是给训练数据标注好 标签 [label] 。

  • 监督学习的目标在观察完一些事先标注过的训练数据（输入和预期输出）后，这个模型对任何可能出现的输入去预测其输出。要达到此目的，学习者必须以“合理”（归纳规律）的方式从现有的数据中一般化到未观察到的情况。在人类和动物感知中，则通常被称为 概念学习。

机器学习的常见类型：监督学习 vs 匹配滤波

# GW: ML

  • 监督学习 是在有指导的前提下让机器进行学习，这种指导的关键是给训练数据标注好 标签 [label] 。

  • 监督学习的目标在观察完一些事先标注过的训练数据（输入和预期输出）后，这个模型对任何可能出现的输入去预测其输出。要达到此目的，学习者必须以“合理”（归纳规律）的方式从现有的数据中一般化到未观察到的情况。在人类和动物感知中，则通常被称为 概念学习。

  • 基于模板的引力波信号搜寻：
    • 若某一段时域数据流作为输入，探测统计量 (即匹配滤波信噪比) 是另一段输出的时序数据流，问怎样的线性滤波器 (模板) 可以使得输出结果最大？

机器学习的常见类型：非监督学习

# GW: ML

  • 无监督学习 是没有指导的学习过程，待学习的训练数据没有标签的。

  • 机器学习算法通过某种方式在数据中寻找共同特征，并将有共同特征的数据聚合在一起。有时也会把这个过程成为“聚类” (cluster) 。

  • 聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集，这样让在同一个子集中的成员对象都有相似的一些属性。

  • 无监督学习算法通过自由的探索数据，所学到的大部分内容必须包括理解数据本身，而不是将这种理解应用于特定任务。所以，通往通用智能的道路上必须要掌握无监督学习的技能。

  • 无监督学习的过程和人类的 归纳 学习过程相似。

机器学习的常见类型：非监督学习

# GW: ML

  • 无监督学习 是没有指导的学习过程，待学习的训练数据没有标签的。

  • 机器学习算法通过某种方式在数据中寻找共同特征，并将有共同特征的数据聚合在一起。有时也会把这个过程成为“聚类” (cluster) 。

  • 聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集，这样让在同一个子集中的成员对象都有相似的一些属性。

  • 无监督学习算法通过自由的探索数据，所学到的大部分内容必须包括理解数据本身，而不是将这种理解应用于特定任务。所以，通往通用智能的道路上必须要掌握无监督学习的技能。

  • 无监督学习的过程和人类的 归纳 学习过程相似。

机器学习的其他类型

# GW: ML

  • 半监督学习 (semi-supervised learning)

  • 自监督学习 (self-supervised learning)

  • ...

2002.08721

需要区分的是，LLM 的基础能力主要来自自监督预训练阶段，而后续的指令微调（instruction tuning）、RLHF 等过程才引入了显式的人类监督信号。因此，从模型能力形成的根源来看，LLM 首先是一类自监督学习模型。

机器学习的基本术语

# GW: ML

机器学习模型的分类

# GW: ML

  • 基于监督学习进行预测

分类问题（不同类别预测）

回归问题（对连续值进行预测）

  • 与环境不断交互的强化学习过程

  • 试图从无标签数据里总结模式的无监督学习

用聚类发现子簇

数据降维

根据数据样本上抽取出的特征，判定其属于有限个类别中的哪一个

根据数据样本上抽取出的特征，预测连续值结果

根据数据样本上抽取出的特征，挖局数据的关联模式

发现数据中的隐藏模式和结构

研究如何基于环境而行动，以取得最大化的预期利益

机器学习模型的分类

# GW: ML

分类

回归

聚类

降维

TSNE

UMAP

  • 根据 数据标签 分类

机器学习模型的分类

# GW: ML

https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html

蓝色圆圈内是判断条件，绿色方框内是可以选择的算法。你可以根据自己的数据特征和任务目标去找到一条自己的操作路线，一步步做就好了。

机器学习模型的分类

# GW: ML

https://medium.com/@chris_bour/an-extended-version-of-the-scikit-learn-cheat-sheet-5f46efc6cbb

常用的回归：线性、决策树、 SVM、KNN

 

集成回归：随机森林、Adaboost、 GradientBoosting、Bagging、 ExtraTrees

 

常用的分类：线性、决策树、 SVM、KNN，朴素贝叶斯;

 

集成分类：随机森林、 Adaboost、 GradientBoosting、Bagging、 ExtraTrees

 

常用聚类：
k均值(K- means)、层次聚类 (Hierarchical clustering)、 DBSCAN

 

常用降维: LinearDiscriminantAnalysis、 PCA

机器学习模型的分类

# GW: ML

  • 非参数模型：

    • 不对数据分布进行假设，数据的所有统计特性都来源于数据本身

    • 非参数模型的时空复杂度一般比参数模型大得多

    • 非参数模型是自适应数据的，模型参数随样本变化而变化

x

y

y=mx+b

条件概率 \(P(Y|X)\) 属于高斯分布

线性回归模型

K 近邻模型

  • 根据 数据分布 分类：参数 vs 非参数模型

    • 这里的“参数”并不是模型中的参数，而是数据分布的参数

  • 参数模型：

    • 对数据分布进行假设，待求解的数据模式/映射可以用一组有限且固定数目的模型参数进行刻画

如：线性/逻辑回归、感知机、K 均值聚类

优点：简洁、快速、数据需求更少

局限性：指定函数形式、有限的复杂度、易欠拟合

如：随机森林、朴素贝叶斯、SVM、神经网络

优势：函数可变性、模型强大假设少、拟合性好

局限性：数据需求量大、速度慢、易过拟合、预测解释性不高

注: 有些时候数据没有提供足够信息来事先假设分布、或者问题本身没有明显的分布特性

机器学习项目开发规划与准备

# GW: ML

  • 发现与明确问题

    • AI 开发的目标是将隐藏在海量数据背后的信息集中处理并进行提炼，从而总结得到研究对象的内在规律。

    • 在开始 AI 开发之前，需要进行多角度思考：

      • 科学（痛点）

        • 要解决什么科学问题？假设是什么？目标是什么？

        • 预期结果是什么？成功的量化衡量指标是？

      • 技术（难点）

        • 要 AI 从数据中学习的是什么 表征 [representation]？

        • 与非 AI 方法相比，预期结果是什么？

        • 足够支持解决问题需要多少数据？能获取到足够数据吗？需要多长时间？...

    • 考虑这几个问题并不是浪费时间，对于任何一个机器学习和数据分析的工作来说，都是很有必要且不可或缺的步骤。然后就可以从数据探索开始了。

    • 对数据进行分析，一般通过使用适当的统计、机器学习、深度学习等方法，对收集的大量数据进行计算、汇总和整理，以求最大化地开发数据价值，发挥数据作用。

Randal S. Olson《An example machine learning notebook》，原文:  http://nbviewer.jupyter.org/github/rhiever/Data-Analysis-and-Machine-Learning-Projects/blob/master/example-data-science-notebook/Example%20Machine%20Learning%20Notebook.ipynb

机器学习项目开发规划与准备

# GW: ML

  • 开发流程

机器学习项目开发规划与准备

# GW: ML

  • 数据准备

  • 在大部分人工智能项目工作时间中，数据的准备和数据 pipeline 的搭建占到近 80% 的工作量。

  • 数据观察与数据清理十分繁琐，但它却是数据分析的关键步骤。如果我们跳过这个阶段直接进 入建模，会导致错误的数据模型。

  • 记住：错误的数据导致错误的模型。永远要从检查数据开始。

  • 我们要尽可能地把数据清洗和探索性分析，这样才能对数据集的分布和关系有初步的认识。

机器学习项目开发规划与准备

# GW: ML

  • 数据准备

  • 在大部分人工智能项目工作时间中，数据的准备和数据 pipeline 的搭建占到近 80% 的工作量。

  • 一般来说，训练数据规模越大，越可以带来更好的 AI 模型性能。

机器学习项目开发规划与准备

# GW: ML

  • 数据准备

  • 数据标注后需要划分为训练集 [train] 与测试集 [test] (简版)

    • 训练集：是数据集的一个随机子集，用于完成模型训练任务

    • 测试集：也是数据集的一个随机子集(与训练集互斥分开)，用于验证模型的准确性，以及对模型的泛化效果进行检验

    • 拆分比例根据具体任务决定，通常训练集的比重较大，一个可能的划分比例是：训练集数据数量 : 测试集数据数量 = 8 : 2 

    • 需要注意的是，一旦我们把数据集划分为训练集和测试集，那么我们在建模的过程中，就不能再使用测试集的任何数据，否则就是作弊哦。

为避免过拟合问题，大部分的数据科学家都会对数据模型进行“K层交叉检验(K-fold cross-validation)”：

  • 把原始的数据集划分为K个子集，使用其中一个子集作为测试集，其他子集都用作训练集。这个过程重复K次， 这样每个子集都会成为一次测试集。

  • 10 层交叉验证是最常用的。

机器学习项目开发规划与准备

# GW: ML

  • 特征工程 [feature engineering]

    • 特征工程是指从原始数据转换为特征向量的过程。

    • 特征工程是机器学习中最重要的起始步骤，会直接影响模型的效果，通常需要大量的时间来完成。

    • 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。

机器学习项目开发规划与准备

# GW: ML

  • 特征工程 [feature engineering]

    • 特征提取（feature extraction）一般是在特征选择之前，它提取的对象是原始数据，目的就是自动地构建新的特征，将原始数据转换为一组具有明显物理意义（比如 Gabor、几何特征、纹理特征）或者统计意义的特征（也包括PCA，SVD等方法在内）

PRD 105, 083007 (2022)

机器学习项目开发规划与准备

# GW: ML

CQG 34, 9 (2017): 094003

  • 特征工程 [feature engineering]

    • 特征构建（feature construction） 指从原始数据中人工的构建新的特征。

    • 需要花时间去观察原始数据，思考问题的潜在形式和数据结构，对数据敏感性和机器学习实战经验能帮助特征构建。

机器学习项目：开发应用程序的步骤

# GW: ML
  1. 收集数据（爬虫等）
  2. 预处理、准备输入数据。得到数据之后，还必须确保数据格式符合要求，为机器学习算法准备特定的数据格式。

  3. 分析输入数据，了解数据分部，数据可视化，观察数据基础分布，了解缺省情况与数据质量，确保数据集中没有垃圾数据 。(人工+数据分析工具)

  4. 训练算法。机器学习算法从这一步才真正开始学习。根据算法的不同，第4步和第5步是机器学习算法的核心。我们将前两步得到的格式化数据输入到算法，从中抽取知识或信息。 这里得到的知识需要存储为计算机可以处理的格式，方便后续步骤使用。如果使用无监督学习算法，由于不存在目标变量值，故而也不需要训练算法，所有与算法相关的内容都集中在第5步。

  5. 测试算法与调优。这一步将实际使用第4步机器学习得到的知识信息。为了评估算法， 必须测试算法工作的效果。

    • 对于监督学习，必须已知用于评估算法的目标变量值；

    • 对于无监督学习，也必须用其他的评测手段来检验算法的成功率。

    • 无论哪种情形，如果不满意算法的输出结果，则可以回到第4步 ，改正并加以测试。问题常常会跟数据的收集和准备有关，这时你就必须跳回第1步重新开始。

  6. 使用算法。将机器学习算法转换为应用程序，执行实际任务，以检验上述步骤是否可以在实际环境中正常工作。此时如果碰到新的数据问题，同样需要重复执行上述的步骤。

机器学习项目：Baseline 流水线

# GW: ML

  • 人工设计特征：在实际的应用中，特征 往往比模型本身更重要

  • 训练模式与测试模式

  • 超参数调参

  • 尽快搭建端到端的 baseline

Scikit-learn 机器学习库

# GW: ML

  • sklearn的最基本的用法： 5 个基本函数

    • fit 拟合

    • transform 变换

    • fit_transform 拟合+变换

    • predict 预测

    • predict_prob 预测概率

  • 神经元
  • 万有逼近定理
  • 神经网络的参数学习

深度学习：神经网络基础

深度学习：神经网络基础

# GW: DL
  • 神经元
  • 激活函数 \(f\)

    • 没有激活函数的话，
      相当于一维矩阵相乘：

      • 多层和一层一样

      • 只能拟合线性函数

\sum_{i} w_{i} x_{i}+b=w_{1} x_{1}+\cdots+w_{D} x_{D}+b
\underbrace{\left[\sum_{i} w_{i} x_{i}+b\right]}_{1 \times 1}=\underbrace{\left[\begin{array}{lll} \cdots & x_{i} & \cdots \end{array}\right]}_{1 \times D} \cdot \underbrace{\left[\begin{array}{c} \vdots \\ w_{i} \\ \vdots \end{array}\right]}_{D \times 1}+\underbrace{[b]}_{1 \times 1}

M-P神经元模型 [McCulloch and Pitts, 1943]

深度学习：神经网络基础

# GW: DL
  • 激活函数 \(f\) 举例
    • S 性函数（sigmoid）
    • ReLU 修正线性单元
    • 双性 S 性函数（tanh）
    • Leaky ReLU
    • ELU 指数线性单元
    • ...

深度学习：神经网络基础

# GW: DL
  • 一个神经元
    • Input：一个样本



       
    • Input：N 个样本






       
    • 线性矩阵操作之后，会经过激活函数实现元素级操作，
      使得神经元“非线性化”。
\underbrace{\left[\sum_{i} w_{i} x_{i}+b\right]}_{1 \times 1}=\underbrace{\left[\begin{array}{lll} \cdots & x_{i} & \cdots \end{array}\right]}_{1 \times D} \cdot \underbrace{\left[\begin{array}{c} \vdots \\ w_{i} \\ \vdots \end{array}\right]}_{D \times 1}+\underbrace{[b]}_{1 \times 1}
\underbrace{\begin{bmatrix} \sum_jw_jx_{ij}+b_j \\ \vdots \end{bmatrix}}_{N\times1 } = \underbrace{\begin{bmatrix} \cdots & x_{ij} & \cdots \\ & \vdots & \end{bmatrix}}_{N\times D} \cdot \underbrace{\begin{bmatrix} \vdots \\ w_j \\ \vdots \end{bmatrix}}_{D\times 1} + \underbrace{\begin{bmatrix} \vdots \\ b_j\\ \vdots \end{bmatrix}}_{N\times 1}
\hat{x}_i=f\left(\sum_iw_ix_i+b\right)=\max\left(0,\sum_iw_ix_i+b\right)

深度学习：神经网络基础

# GW: DL
  • 一个神经元
    • Input：一个样本



       
    • Input：N 个样本






       
    • 线性矩阵操作之后，会经过激活函数实现元素级操作，
      使得神经元“非线性化”。
\underbrace{\left[\sum_{i} w_{i} x_{i}+b\right]}_{1 \times 1}=\underbrace{\left[\begin{array}{lll} \cdots & x_{i} & \cdots \end{array}\right]}_{1 \times D} \cdot \underbrace{\left[\begin{array}{c} \vdots \\ w_{i} \\ \vdots \end{array}\right]}_{D \times 1}+\underbrace{[b]}_{1 \times 1}
\underbrace{\begin{bmatrix} \sum_jw_jx_{ij}+b_j \\ \vdots \end{bmatrix}}_{N\times1 } = \underbrace{\begin{bmatrix} \cdots & x_{ij} & \cdots \\ & \vdots & \end{bmatrix}}_{N\times D} \cdot \underbrace{\begin{bmatrix} \vdots \\ w_j \\ \vdots \end{bmatrix}}_{D\times 1} + \underbrace{\begin{bmatrix} \vdots \\ b_j\\ \vdots \end{bmatrix}}_{N\times 1}
\hat{x}_i=f\left(\sum_iw_ix_i+b\right)=\max\left(0,\sum_iw_ix_i+b\right)

深度学习：神经网络基础

# GW: DL
  • M 个神经元
    • Input：一个样本



       
    • Input：N 个样本 (with activation function)






       
  • 留意：
    • 数据矩阵的行（样本数）、列（特征维度）
    • 一个隐层的行（对应于数据特征维度）、列（神经元的个数）
    • 每一层的非线性映射过程中，输入输出的数据矩阵行（样本数）保持不变
    • 过参数化 (Over-parameterization) 的神经网络
\underbrace{\begin{bmatrix} \sum_iw_{ij}x_i+b & \cdots & \end{bmatrix}}_{1\times M} = \underbrace{\begin{bmatrix} \cdots & x_i & \cdots \end{bmatrix}}_{1\times D} \cdot \underbrace{\begin{bmatrix} \vdots & & \\ \cdots & w_{ij} & \cdots \\ \vdots & & \end{bmatrix}}_{D\times M} + \underbrace{\begin{bmatrix} b &\cdots & \end{bmatrix}}_{\underset{\text{Broadcasting}}{1\times M}}
\underbrace{\begin{bmatrix} & \vdots& \\ \cdots& \hat{x}_{ik} &\cdots \\ & \vdots& \end{bmatrix}}_{N\times M} = f\left( \underbrace{\begin{bmatrix} & \vdots& \\ \cdots& x_{ij} &\cdots \\ & \vdots & \end{bmatrix}}_{N\times D} \cdot \underbrace{\begin{bmatrix} & \vdots& \\ \cdots& w_{jk} & \cdots\\ & \vdots & \end{bmatrix}}_{D\times M} + \underbrace{\begin{bmatrix} & \vdots & \\ \cdots & b_i & \cdots\\ & \vdots & \end{bmatrix}}_{\underset{\text{Broadcasting}}{N\times M}} \right)
f\sim \text{non-linear operation}

深度学习：神经网络基础

# GW: DL
  • 万有逼近定理 (Universal Approximation Theorem)
    • 只要函数 \(y=\varphi(x)\) 是连续的，就存在神经网络以任意精度逼近它。
    • 如果一个隐层包含足够多的神经元，三层前馈神经网络（输入-隐层-输出）能以任意精度逼近任意预定的连续函数。

 

 



 

 

  • 注意：
    • 上述定理只是给出了存在性结论，实际应用时\(n,N\)可能非常大，导致运算规模异常庞大。(70年代低谷)
    • 神经网络相当于解决了最小二乘法拟合数据时“如何选取函数型”这一本质难点。但是因为参数过多，从神经网络中很难反映出数据背后的机理，所以不适用于机理建模。

[Hornik et al., 1989]

深度学习：神经网络基础

# GW: DL
  • 更宽还是更深？更深！
    • 在神经元总数相当的情况下，增加网络深度可以比增加宽度带来更强的网络表示能力。
    • 深度和宽度对函数复杂度的贡献是不同的，深度的贡献是指数增长的，而宽度的贡献是线性的。

Seide F, Li G, Yu D. Conversational speech transcription using context-dependent deep neural networks[C] Interspeech. 2011.

深度学习：神经网络基础

# GW: DL

深度学习：神经网络基础

# GW: DL
  • 神经网络的参数学习：误差反向传播

    • 多层神经网络可看成是一个复合的非线性多元函数 \(\mathrm{F}(\cdot): X \rightarrow Y\)

       

    • 给定训练数据 \(\left\{x^i, y^i\right\}_{i=1: N}\)，希望损失 \(\sum_i \operatorname{loss}\left(F_w\left(x^i\right), y^i\right)\) 尽可能小.

图片取自李宏毅老师《机器学习》课程
F_{w}(x)=f_n\left(\ldots f_3\left(f_2\left(f_1(x) * \theta_1+b\right) * \theta_2+b\right) \ldots\right)

深度学习：神经网络基础

# GW: DL
  • 优化算法的选择（略）
  • 神经网络的参数学习：误差反向传播

    • 多层神经网络可看成是一个复合的非线性多元函数 \(\mathrm{F}(\cdot): X \rightarrow Y\)

       

    • 给定训练数据 \(\left\{x^i, y^i\right\}_{i=1: N}\)，希望损失 \(\sum_i \operatorname{loss}\left(F_w\left(x^i\right), y^i\right)\) 尽可能小

  • 反向传播算法 (BP) 的目标是找损失函数关于神经网络中可学习参数 (\(w\)) 的偏导数（证明略）

F_{w}(x)=f_n\left(\ldots f_3\left(f_2\left(f_1(x) * \theta_1+b\right) * \theta_2+b\right) \ldots\right)

深度学习：神经网络基础

# GW: DL
  • 神经网络的参数学习：误差反向传播

    • 多层神经网络可看成是一个复合的非线性多元函数 \(\mathrm{F}(\cdot): X \rightarrow Y\)

       

    • 给定训练数据 \(\left\{x^i, y^i\right\}_{i=1: N}\)，希望损失 \(\sum_i \operatorname{loss}\left(F_w\left(x^i\right), y^i\right)\) 尽可能小

  • 反向传播算法 (BP) 的目标是找损失函数关于神经网络中可学习参数 (\(w\)) 的偏导数（证明略）

F_{w}(x)=f_n\left(\ldots f_3\left(f_2\left(f_1(x) * \theta_1+b\right) * \theta_2+b\right) \ldots\right)
  • 学习率 \(\eta\) 与学习率策略

Credit: Cameron R. Wolfe

From here

  • 分类任务的评价指标
  • 模型调优，过拟合与欠拟合
  • 没有免费午餐定理（No free lunch theorem）

模型性能评估与测试调优

模型性能评估与测试调优

# GW: DL

分类任务的评价指标

  • 评价指标
    • 评价指标的选择会影响如何测量和比较机器学习算法的性能，也会影响我们在如何权衡结果中不同特征的重要性以及您选择哪种算法的最终选择。
    • 使用不同的性能度量往往会导致不同的评判结果。
  • 模型的 泛化性
    • 机器学习模型的学习目标是从目标领域内的训练数据到任意其他数据上的性能良好，由此可以在未来对模型没有见过的数据进行预测。

模型性能评估与测试调优

# GW: DL

分类任务的评价指标

  • 准确率（Accuracy）：也就是正确分类的样本数占总样本数的比例。但这个指标对于不均衡数据而言，模型会有掉入“高准确率陷阱”。
  • 举个例子：
    • 如果有一种癌症，1000 个人中只有 1 个人会得，也就是患这个癌症的概率为 0.1%。那么这个时候，我们不用机器学习，给我 1000 个人预测是否患癌，我只要全部猜没有，那么我就只会有 1 个人判错，我的准确率达到了 99.9%。
    • 那么如果我们用机器学习来训练出一个预测一个人是否患有这个癌症的模型，就算这个模型最后的准确率达到了 98%，那也是没有意义的。

混淆矩阵

模型性能评估与测试调优

# GW: DL

分类任务的评价指标

混淆矩阵

 

  • 混淆矩阵（Confusion matrix）：样本的真实分类值作为一个维度，把样本预测分类值作为一个维度。
    • 真正例：预测为正，实际也为正。
    • 真反例：预测为反，实际也为反。
    • 假正例：预测为反，但实际为正。
    • 假反例：预测为正，但实际为反。

模型性能评估与测试调优

# GW: DL

分类任务的评价指标

  • 精确率（Precision）：在所有预测的正类的样本中，预测正确的样本所占有的比例 。




     
  • 召回率（Recall）：在所有真实类别为正类的样本中，被正确预测为正的样本所占的比例。




 

  • 精确率（查准率）评估预测的 准不准；
  • 召回率（查全率）评估找的 全不全。

混淆矩阵

模型性能评估与测试调优

# GW: DL

分类任务的评价指标

  • 精确率（Precision）：在所有预测的正类的样本中，预测正确的样本所占有的比例 。




     
  • 召回率（Recall）：在所有真实类别为正类的样本中，被正确预测为正的样本所占的比例。




 

  • 精确率（查准率）评估预测的 准不准；
  • 召回率（查全率）评估找的 全不全。

混淆矩阵

模型性能评估与测试调优

# GW: DL

分类任务的评价指标

  • F1调和平均
    • 比 BEP 更常用的 F1 度量:
      \(F 1=\frac{2 \times P \times R}{P+R}=\frac{2 \times T P}{\text { 样例总数 }+T P-T N}\)
    • F1：查准率与查全率的调和平均, 调和平均更注重较小值的影响
    • 若对查准率/查全率有不同偏好:
      \(F_\beta=\frac{\left(1+\beta^2\right) \times P \times R}{\left(\beta^2 \times P\right)+R} \)
      \(\beta>1\) 时查全率有更大影响; \(\beta<1\) 时查准率有更大影响
    • \(F_{\beta}\) : 查准率与查全率的加权调和平均
  • ROC，AUC（下一讲）

模型性能评估与测试调优

# GW: DL

模型调优，过拟合与欠拟合

  • 调参过程相似：先产生若干模型，然后基于某种评估。
    • 算法的参数：一般由人工设定，亦称“超参数”
    • 模型的参数：一般由学习确定
  • 参数调得好不好，往往对最终性能有关键影响。

模型性能评估与测试调优

# GW: DL

模型调优，过拟合与欠拟合

  • 模型泛化性的评价：
    • 过拟合（over-fitting）：在训练数据上表现良好，在未知数据上表现差。
    • 欠拟合（under-fitting）：在训练数据和未知数据上表现都很差。
    • 解决办法：重新选数据，重新定模型

模型性能评估与测试调优

# GW: DL

模型调优，过拟合与欠拟合

  • 讨论机器学习模型学习和泛化的好坏时，通常使用术语:过拟合和欠拟合。
  • 模型泛化性的评价：
    • 过拟合（over-fitting）：在训练数据上表现良好，在未知数据上表现差。
    • 欠拟合（under-fitting）：在训练数据和未知数据上表现都很差。
    • 解决办法：重新选数据，重新定模型
  • 模型怎么定？
    • 不同模型复杂度在评价指标上的表现

素材来源：DOI: 10.1177/2374289519873088

模型性能评估与测试调优

# GW: DL

没有免费午餐定理（No free lunch theorem）

  • 对于所有可能的域（所有可能的问题实例均来自均匀的概率分布），算法A和B的平均性能相同。

Wolpert D H. The lack of a priori distinctions between learning algorithms[J]. Neural computation, 1996, 8(7): 1341-1390.

没有免费午餐理论对于个人的指导

  • 在依赖模型或搜索算法之前，请始终检查您的假设。
  • 没有“超级算法”能完美适用于所有数据集。
  • 这是因为几乎所有非死记硬背的(non-rote)机器学习算法或统计模型都需要对预测变量和目标变量之间的关系做出了一些假设，从而将 偏差 (bias)引入了模型，具体称为 归纳或学习偏差（inductive or learning bias）。
  • 无偏差学习是徒劳的，因为没有先验假设的学习者在提供新的，看不见的输入数据时将没有合理的基础来创建估计。
  • 这些假设使得某些算法在某些数据集上表现优秀，而在其他数据集上表现不佳。换句话说，一个算法的有效性取决于它的偏差（即假设）与数据的真实性质之间的匹配程度。这就意味着，对于任何给定的算法，总会存在一些它无法有效处理的数据集。
  • 算法的假设适用于某些数据集，但不适用于其他数据集。该现象对于理解欠拟合  （underfitting）的概念 和 偏差/方差折衷（bias/variance tradeoff）至关重要 。

https://medium.com/@LeonFedden/the-no-free-lunch-theorem-62ae2c3ed10c

模型性能评估与测试调优

# GW: DL

偏差-方差窘境（bias-variance dilemma）

  • 一般而言，偏差与方差存在冲突：
    • 训练不足时，学习器拟合学习能力不强，偏差主导
    • 随着训练程度加深，学习器拟合能力逐渐增强，方差逐渐主导
    • 训练充足后，学习器的拟合能力很强，方差主导

泛化性能 是由学习算法的能力、数据的充分性以及学习任务本身的难度共同决定。

模型性能评估与测试调优

# GW: DL

模型调优，过拟合与欠拟合

过拟合和欠拟合是机器学习中常见的两种问题。

  • 过拟合：当模型在训练数据上表现得过于优秀，但在测试数据或新数据上表现不佳时，我们称模型出现了过拟合。过拟合的模型过于复杂，以至于它甚至学习了训练数据中的噪声。在图表中，过拟合通常表现为训练误差持续降低，但验证误差开始上升。
  • 解决过拟合的方法包括：
    • 增加数据量：更多的数据可以帮助模型学习到更多的信息，减少过拟合的可能性。
    • 正则化：正则化是一种添加惩罚项的技术，可以防止模型的权重过大，从而降低模型复杂度。
    • 早停：在验证误差开始上升时停止训练，可以防止模型过度学习训练数据。
    • 降低模型复杂度：简化模型，如减少神经网络的层数或神经元数量，可以降低模型的复杂度，减少过拟合的可能性。
    • ...
  • 欠拟合：当模型在训练数据和测试数据上的表现都不佳时，我们称模型出现了欠拟合。欠拟合的模型过于简单，无法捕捉到数据中的模式。在图表中，欠拟合表现为训练误差和验证误差都很高。
  • 解决欠拟合的方法包括：
    • 增加模型复杂度：增加更多的特征，或者使用更复杂的模型，如增加神经网络的层数或神经元数量，可以帮助模型捕捉到更复杂的模式。
    • 减少正则化：如果模型过于简单，可能是正则化过度，可以尝试减少正则化的程度。
    • 更换模型：如果当前模型无法很好地拟合数据，可以尝试更换其他类型的模型。
    • ...

模型性能评估与测试调优

# GW: DL

模型评估与选择

  • 比较检验：在某种度量下取得评估结果后，是否可以直接比较以评判优劣?
    • No! 因为：
      • 测试性能不等于泛化性能
      • 测试性能随着测试集的变化而变化
      • 很多机器学习算法本身有一定的随机性
  • 机器学习任务  \(\rightarrow\) “概率近似正确”

  • 统计假设检验 (hypothesis test) 为学习器性能比较提供了重要依据【应需要有统计显著性作为评判依据】

    • 两学习器比较

      • 交叉验证 t 检验（基于成对 t 检验）

      • McNemar 检验（基于列联表、卡方检验）

    • 多学习器比较

      • Kolmogorv-Smirnov Test (K-S检验)

      • Friedman 检验 （基于序值，F检验；判断“是否相同”）

      • Nemenyi 后续检验（基于序值，进一步判断两两差别）

https://dcc.ligo.org/LIGO-G070831/public

https://arxiv.org/abs/2203.03449

Veitch, J., et al. Physical Review D 91, no. 4 (February 2015): 042003. https://doi.org/10.1103/PhysRevD.91.042003.

https://arxiv.org/abs/1807.09241

  • Flow-based inference

Parameter estimation

GW Parameter Estimation

# AI for PE

Data quality improvement

Credit: Marco Cavaglià 

LIGO-Virgo-KAGRA data processing

GW waveform modeling

GW searches

Astrophsical interpretation of GW sources

CQG. 37 (2020) 055002

Space-based GW detection (Taiji program)

# AI for PE

Bayesian Inference

  • Traditional parameter estimation (PE) techniques rely on Bayesian analysis methods (posteriors + evidence)

  • For CBC, LIGO-Virgo-KAGRA parameter estimation software:

    • Bilby / LALInference / PyCBC Inference / RIFT

  • Computing the full 15-dimensional posterior distribution estimate is very time-consuming:
    • Calculating likelihood function
    • Template generation time-consuming
  • Machine learning algorithms are expected to speed up! If it can be achieved in real-time, it will be more helpful for signal detection.

GW Parameter Estimation

Thrane, Eric, and Colm Talbot. “An Introduction to Bayesian Inference in Gravitational-Wave Astronomy: Parameter Estimation, Model Selection, and Hierarchical Models.” Publications of the Astronomical Society of Australia 36 (September 2019): e010. https://doi.org/10.1017/pasa.2019.2.

# AI for PE

GW Parameter Estimation via CVAE

  • Deep Generative Models: Conditional Variational Autoencoder (CVAE)
  • Noise Power Spectrum Based on Design Sensitivity, Gaussian Simulated Noise (Proof-of-principle studies)
  • A complete 15-dimensional posterior probability distribution, taking about 1 second

An example: Posterior probability distribution of the complete 15-dimensional parameters

# AI for PE

GW Parameter Estimation via NFlow

  • Deep Generative Models: Normalizing Flow Models (Nflow)
  • Noise Power Spectra Based on GW150914 Nearby Noise Estimation
  • First Implementation of Full Posterior Parameter Estimation for Real Gravitational Wave Event GW150914
    • 50,000 Posterior Samples in Approximately 8 Seconds

He Wang+, Big Data Mining and Analytics, 2021

# AI for PE

GW Parameter Estimation via NFlow

  • 深度生成模型：归一化流模型 (Nflow)
  • DINGO (Deep INference for Gravitational wave Observations)
    • ​测试 GWTC-1 的 BBH 事件
    • 耗时 < 1 min (≈ 20 s, IMRPhenomPv2)
    • ​开始为 ​O4 部署，有望成为新的引力波信号搜寻流水线
  • DINGO-IS​
    • ​测试 GWTC-3 中 42 BBH 事件
    • 耗时 ≲ 1 h (IMRPhenomXPHM)，≈ 10 h (SEOBNRv4PHM, 64 CPU cores)
    • 能够计算 evidence
# AI for PE

DINGO

  • 進撃の DINGO in GW inference area.

    • 2002.07656: 5D toy model [1] (PRD)

    • 2008.03312: 15D binary black hole inference [1] (MLST)

    • 2106.12594: Amortized inference and group-equivariant neural posterior estimation [2] (PRL)

    • 2111.13139: Group-equivariant neural posterior estimation [2] (ICLR 2022)

    • 2210.05686: +Importance sampling [2] (PRL)

    • 2211.08801: Noise forecasting [2] (PRD)

    • 2311.12093: Population studies [2] (PRD)

    • 2404.14286: Find evidence for eccentric binaries. [2] (PRD)

    • 2407.09602: BNS inference [2] (Nature)

    • 2512.02968: +Transformer, (Dingo-T1) [3] (PRL)

    • 2603.20431: For LISA [4] (PRD)

  1. https://github.com/stephengreen/lfi-gw  (2020)

  2. https://github.com/dingo-gw/dingo   (2023.03)

  3. https://github.com/dingo-gw/dingo-T1 (2025.11)

  4. https://github.com/AliSword/dingo-lisa (2026.04)

  5. https://github.com/stephengreen/gw-school-corfu-2023 (Tutorial)

  6. https://github.com/annalena-k/tutorial-dingo-introduction (Tutorial)

  • Some mathematics for NF
  • Estimating GW parameters using NF

Normalizing Flows

# AI for PE

Normalizing Flows

p_{\mathrm{y}}(\mathbf{y})=p_{\mathrm{z}}\left(T^{-1}(\mathbf{y})\right)\left|\operatorname{det} J_{T^{-1}}(\mathbf{y})\right|

The main idea of flow-based modeling is to express \(\mathbf{y}\in\mathbb{R}^D\) as a transformation \(T\) of a real vector \(\mathbf{z}\in\mathbb{R}^D\) sampled from \(p_{\mathrm{z}}(\mathbf{z})\):

\mathbf{y}=T(\mathbf{z}) \quad \text { where } \quad \mathbf{z} \sim p_{\mathrm{y}}(\mathbf{z})

（Based on 1912.02762）

Note: The invertible and differentiable transformation \(T\) and the base distribution \(p_{\mathrm{z}}(\mathbf{z})\) can have parameters \(\{\boldsymbol{\phi}, \boldsymbol{\psi}\}\) of their own, i.e. \( T_{{\phi}}\) and \(p_{\mathrm{z},\boldsymbol{\psi}}(\mathbf{z})\).

Change of Variables:

p_{\mathrm{y}}(\mathbf{y})=p_{\mathrm{z}}(\mathbf{z})\left|\operatorname{det} J_{T}(\mathbf{z})\right|^{-1} \quad \text { where } \quad \mathbf{u}=T^{-1}(\mathbf{x}) .
J_{T}(\mathbf{z})=\left[\begin{array}{ccc} \frac{\partial T_{1}}{\partial \mathrm{z}_{1}} & \cdots & \frac{\partial T_{1}}{\partial \mathrm{z}_{D}} \\ \vdots & \ddots & \vdots \\ \frac{\partial T_{D}}{\partial \mathrm{z}_{1}} & \cdots & \frac{\partial T_{D}}{\partial \mathrm{z}_{D}} \end{array}\right]

Equivalently,

The Jacobia \(J_{T}(\mathbf{u})\) is the \(D \times D\) matrix of all partial derivatives of \(T\) given by:

【【机器学习】白板推导系列(三十三) ～ 流模型(Flow based Model)】 

p_{\mathrm{y}}(\mathbf{y})
p_{\mathrm{z}}(\mathbf{z})
\mathbf{z}
\mathbf{y}
T
T^{-1}

base density

target density

# AI for PE

Normalizing Flows

（Based on 1912.02762）

Rational Quadratic Neural Spline Flows
(RQ-NSF)

  • Data: target data \(\mathbf{y}\in\mathbb{R}^{15}\) with condition data \(\mathbf{x}\).
  • Task:
    • Fitting a flow-based model \(p_{\mathrm{y}}(\mathbf{y} ; \boldsymbol{\theta})\) to a target distribution \(p_{\mathrm{y}}^{*}(\mathbf{y})\)
    • by minimizing KL divergence with respect to the model’s parameters \(\boldsymbol{\theta}=\{\boldsymbol{\phi}, \boldsymbol{\psi}\}\),
    • where \(\boldsymbol{\phi}\) are the parameters of \(T\) and \(\boldsymbol{\psi}\) are the parameters of \(p_{\mathrm{z}}(\mathbf{z})=\mathcal{N}(0,\mathbb{I})\).
  • Loss function:




     
  • Assuming we have a set of samples \(\left\{\mathbf{y}_{n}\right\}_{n=1}^{N}\sim p_{\mathrm{y}}^{*}(\mathbf{y})\),



    Minimizing the above Monte Carlo approximation of the KL divergence is equivalent to fitting the flow-based model to the samples \(\left\{\mathbf{y}_{n}\right\}_{n=1}^{N}\) by maximum likelihood estimation.
\begin{aligned} \mathcal{L}(\boldsymbol{\theta}) &=D_{\mathrm{KL}}\left[p_{\mathrm{y}}^{*}(\mathbf{y}) \| p_{\mathrm{y}}(\mathbf{y} ; \boldsymbol{\theta})\right] \\ &=-\mathbb{E}_{p_{\mathbf{y}}^{*}(\mathbf{y})}\left[\log p_{\mathbf{y}}(\mathbf{y} ; \boldsymbol{\theta})\right]+\text { const. } \\ &=-\mathbb{E}_{p_{\mathbf{y}}^{*}(\mathbf{y})}\left[\log p_{\mathrm{z}}\left(T^{-1}(\mathbf{y} ; \boldsymbol{\phi}, \mathbf{x}) ; \boldsymbol{\psi}\right)+\log \left|\operatorname{det} J_{T^{-1}}(\mathbf{y} ; \boldsymbol{\phi})\right|\right]+\mathrm{const} . \end{aligned}
\mathcal{L}(\boldsymbol{\theta}) \approx-\frac{1}{N} \sum_{n=1}^{N} \log p_{\mathrm{z}}\left(T^{-1}\left(\mathbf{y}_{n} ; \boldsymbol{\phi},\mathbf{x}\right) ; \boldsymbol{\psi}\right)+\log \left|\operatorname{det} J_{T^{-1}}\left(\mathbf{y}_{n} ; \boldsymbol{\phi}, \mathbf{x}\right)\right|+\mathrm{const.}
\mathbb{E}_{p_{\mathbf{y}}^{*}(\mathbf{y})}\left[\log p_{\mathbf{y}}^{*}(\mathbf{y})\right]
p_{\mathrm{y}}(\mathbf{y})
p_{\mathrm{z}}(\mathbf{z})
\mathbf{z}
\mathbf{y}
T
T^{-1}

base density

target density

# AI for PE

FYI：KL散度 vs 交叉熵

Objective:

  • For each sample, 
  • Find the best \(\Theta\) that 
\hat{\mathbf{y}}^{(i)} \rightarrow \mathbf{y}^{(i)}
p_{\text {model }}(\mathbf{x} ; \boldsymbol{\Theta}) \rightarrow p_{\text {data }}(\mathbf{x})

在信息论中，可以通过某概率分布函数 \(p(x),x\in X\) 作为变量，定义一个关于 \(p(x)\) 的单调函数 \(h(x)\)，称其为概率分布 \(p(x)\) 的信息量(measure of information):   \(h(x) \equiv -\log p(x)\)

定义所有信息量的期望为随机变量 \(x\) 的 熵 (entropy)：

 
H(x) \equiv -\sum_xp(x)\log p(x) = -\mathbb{E}_ {x\sim p}\log p(x)

若同一个随机变量 \(x\) 有两个独立的概率分布 \(p(x)\) 和 \(q(x)\)，则可以定义这两个分布的相对熵 (relative entropy)，也常称为 KL 散度 (Kullback-Leibler divergence)，来衡量两个分布之间的差异：

 
\begin{aligned} \mathrm{KL}(p \| q) & \equiv-\sum_x p(x) \log q(x)-\left(-\sum_x p(x) \log p(x)\right) \\ & =-\sum_x p(x) \log \left\{\frac{q(x)}{p(x)}\right\} \\ & =-H_p(x)+H_{(p, q)}(x) \end{aligned}

可见 KL 越小，表示 \(p(x)\) 和 \(q(x)\) 两个分布越接近。上式中，我们已经定义了交叉熵 (cross entropy) 为

 
H_{(p,q)}(x)\equiv-\sum_x p(x)\log q(x) = -\mathbb{E}_ {x\sim p}\log q(x) 
# AI for PE

FYI：KL散度 vs 交叉熵

Objective:

  • For each sample, 
  • Find the best \(\Theta\) that 
\hat{\mathbf{y}}^{(i)} \rightarrow \mathbf{y}^{(i)}
p_{\text {model }}(\mathbf{x} ; \boldsymbol{\Theta}) \rightarrow p_{\text {data }}(\mathbf{x})

当对应到机器学习中最大似然估计方法时，训练集上的经验分布 \(\hat{p}_ \text{data}\) 和模型分布之间的差异程度可以用 KL 散度度量为：

 
\mathrm{KL}(p \| q) =-H_p(x)+H_{(p, q)}(x)
H_{(p,q)}(x)\equiv -\mathbb{E}_ {x\sim p}\log q(x)
\text{KL}(\hat{p}_ \text{data}|p_\text{model}) = -H_{p_\text{data}}(\mathbf{X}) - \mathbb{E}_ {\mathbf{x}\sim \hat{p}_ \text{data}}\log p_\text{model}(\mathbf{x};\mathbf{\theta})

由上式可知，等号右边第一项仅涉及数据的生成过程，和机器学习模型无关。这意味着当我们训练机器学习模型最小化 KL 散度时，我们只需要等价优化地最小化等号右边的第二项，即有

 
\arg\min_\theta \text{KL}(\hat{p}_ \text{data}|p_\text{model} ) = -\arg\min_\mathbf{\theta}\mathbb{E}_ {\mathbf{x}\sim\hat{p}_ \text{data}}\log p_\text{model}(\mathbf{x};\mathbf{\theta})
\boldsymbol{J}(\boldsymbol{\theta})=-\mathbb{E}_{\mathbf{x}, \mathbf{y} \sim \hat{p}_{\text {data }}} \log p_{\text {model }}(\mathbf{y} \mid \mathbf{x} ; \theta) \\

Recall:

由此可知，对于任何一个由负对数似然组成的代价函数都是定义在训练集上的经验分布和定义在模型上的概率分布之间的交叉熵。

 
 
# AI for PE

Normalizing Flows

p_{\mathrm{y}}(\mathbf{y})
p_{\mathrm{z}}(\mathbf{z})
\mathbf{z}
\mathbf{y}
T
T^{-1}

base density

target density

e.g., Autoregressive Flow

Autoregressive flow 的核心思想是按维度顺序逐个变换变量，每一步只依赖“已经生成/变换过的前面变量”，从而保证整体变换可逆且 Jacobian 易计算。

更具体地说：

  • 在第 i 维，构造一个条件变换
    \(z_i' = \tau(z_i;\, h_i), \quad h_i = c_i(z_1,\dots,z_{i-1})\)
    也就是第 i 维的变换参数只由前 i-1 维决定（自回归结构）。
    这里的     \(c_i\) 不是手写函数，而是一个神经网络。
  • Forward（生成）：从 \(z_1\) 到 \(z_D\) 顺序计算，每一步用已生成的前面变量作为条件。
  • Inverse（求密度）：可以逐维反解（因为每个 \(\tau\) 都是可逆的），同样是顺序的。
  • 由于这种“下三角依赖结构”，Jacobian 是三角矩阵，行列式就是对角项乘积，因此 log-det 很容易计算。

一句话总结：
👉 autoregressive flow = “按顺序逐维做条件可逆变换”，用因果结构换取可逆性 + 高效概率计算。

# AI for PE

Normalizing Flows

p_{\mathrm{y}}(\mathbf{y})
p_{\mathrm{z}}(\mathbf{z})
\mathbf{z}
\mathbf{y}
T
T^{-1}

base density

target density

  • 左图展示了归一化流（Normalizing Flow）的核心思想：通过一系列可逆变换在数据空间与潜在空间之间建立一一对应关系。
  • 在左侧的数据空间 \(\mathcal{X} \) 中，原始数据分布是复杂的（例如弯曲的双 moons 形流形）；通过学习到的可逆映射，将其逐步“拉直”并变换到右侧的潜在空间 \(\mathcal{Z} \)，使其变为简单的标准分布（如各向同性高斯）。反过来，从简单的潜在分布采样，再通过逆变换映射回数据空间，就可以生成复杂结构的数据。
  • 关键点是：整个变换过程是双射（bijective）且可计算雅可比行列式，从而可以精确地进行概率密度的变换与建模。
# AI for PE

Normalizing Flows

p_{\mathrm{y}}(\mathbf{y})
p_{\mathrm{z}}(\mathbf{z})
\mathbf{z}
\mathbf{y}
T
T^{-1}

base density

target density

Train

\vec\theta = (m_1,m_2,d_L, ...) \in P_{prior}
\vec{x}=\vec{h}_{\vec{\theta}} + \vec{n}

nflow

\vec{z} \Rightarrow \mathbb{N}(0,\mathbb{I})
# AI for PE

Normalizing Flows

p_{\mathrm{y}}(\mathbf{y})
p_{\mathrm{z}}(\mathbf{z})
\mathbf{z}
\mathbf{y}
T
T^{-1}

base density

target density

Train

\vec\theta = (m_1,m_2,d_L, ...) \in P_{prior}
\vec{x}=\vec{h}_{\vec{\theta}} + \vec{n}

nflow

\vec{z} \Rightarrow \mathbb{N}(0,\mathbb{I})

Test

\vec\theta = (m_1,m_2,d_L, ...) \in P_{posterior}
\vec{x}=\vec{h}_{\vec{\theta}} + \vec{n}
\vec{z} \in \mathbb{N}(0,\mathbb{I})

nflow

nflow

nflow

# AI for PE

Normalizing Flows

p_{\mathrm{y}}(\mathbf{y})
p_{\mathrm{z}}(\mathbf{z})
\mathbf{z}
\mathbf{y}
T
T^{-1}

base density

target density

Conditioner 的思路框架图 (略)

( . , a )

( . , b)

( . , a+b)

( . , hidden_dims)

Linear

BN+ReLU+Linear

+BN+ReLU

+Dropout+Linear

( . , hidden_dims)

num_layers x

( . , hidden_dims)

Flow input

Context

Linear

( . , 2 x hidden_dims)

( . , hidden_dims)

copy

( . , hidden_dims)

\oplus

( . , hidden_dims)

( . , a)

Cat

Cat

GLU

Flow output

num_blocks x

# AI for PE

（Based on 1912.02762）

\text{PSD}_{det}

1024 sec

8 sec

ref_time

GPS time

6 sec

Step.1: Generate reduced basis based on SVD.

  • 基于 Prior 在 15dim 参数空间上采样 5w 样本。
  • 每个参数样本生成关于探测器的白化的频域引力波波形 \(h(f)\)（依赖于：探测器的 3 个方位参数+信号到达 GPS 时间+PSD）
  • 取定 600 basis 进行 SVD 分解，本地保存基矢矩阵 Vh。

Step.1

Step.0

  • Ref: Green S R, Gair J. Complete parameter inference for GW150914 using deep learning[J]. Machine Learning: Science and Technology, 2021, 2(3): 03LT01.

Step.0: Estimate PSD around the target event.

  • 取 LIGO 记录的 8 sec 时域引力波数据，其中假定信号位于第 6 sec 附近 \(\pm0.1\) sec 内。
  • 根据该事件信号附近 1024 sec 的时域引力波数据，估计噪声功率谱密度，即 PSD。
# AI for PE

Training

\text{PSD}_{det}

1024 sec

8 sec

ref_time

GPS time

6 sec

Step.2: Train the model

  • 基于 Prior 在 15dim 参数空间上采样 100w 样本，并根据先验分布的每个维度解析地计算 mean 和 std 以备用于标准化 flow 的输入数据。
  • 训练迭代过程：
    • 重新采样探测器方位角参数、distance 和到达时间 time，根据每个样本生成关于探测器的白化的频域引力波波形 \(h(f)\)(依赖于：探测器的 3 个方位参数+信号到达 GPS 时间+PSD) 考虑 2 个独立探测器，因此波形共计 200w 个。经过标准化给出每个样本 15 维参数 \(y\) 作为 flow 的输入数据。
    • 将频域波形映射到 reduced space 上。即读取本地的基矢矩阵 Vh，将频域波形 \(h(f)\) 的特征维度 8193 降到 600，再进一步截断取前 100 维作为波形 \(h(b)\) 的特征维度。
    • 计算并保存 100 个 basis 维度的 std，以备用于标准化 flow 的 conditioner 数据。
    • 在 \(h(b)\) 上进一步添加高斯白噪声 + 标准化 + reshape 为每个样本有 400 个特征维度（2 探测器 x 实部虚部 2 部分 x 原 100 特征维度 ），得到 flow 的 conditioner: \(x\)。
    • 以 \(y\) 作为 target distribution 的输入数据，\(x\) 作为 conditioner，在 flow 模型中映射到 base distribution 上可得到 15 个特征维度 100w 个数据。计算其在高斯概率分布上的交叉熵损失，即 loss。
  • Ref: Green S R, Gair J. Complete parameter inference for GW150914 using deep learning[J]. Machine Learning: Science and Technology, 2021, 2(3): 03LT01.

Step.2

base dist.

target dist.

Coupling architecture:
Rational Quadratic Neural Spline Flows (RQ-NSF)

# AI for PE
\text{PSD}_{det}

1024 sec

8 sec

ref_time

GPS time

6 sec

Testing

Step.3: Test the model (inference)

  • 输入极化的时域引力波数据 \(h_p,h_c\)，根据该样本生成关于探测器的白化的频域引力波波形 \(h(f)\)(依赖于：探测器的 3 个方位参数+信号到达 GPS 时间+PSD)
  • 读取本地的基矢矩阵 Vh，将该频域波形映射到 reduced space 上，特征维度降到 100，再根据训练过程中保存的 100 个 basis 维度的 std 对数据进行标准化，得到 conditioner 数据 \(x\)。
  • 在 flow 模型中，从 base distribution (高斯)上采样样本 \(N\) 个，以 \(x\) 数据作为条件，输出 target distribution 后验样本 \(N\) 个。

Step.3

base dist.

target dist.

  • Ref: Green S R, Gair J. Complete parameter inference for GW150914 using deep learning[J]. Machine Learning: Science and Technology, 2021, 2(3): 03LT01.
# AI for PE

Training

\text{PSD}_{det}

1024 sec

8 sec

ref_time

GPS time

6 sec

200

200

200

800

128

Embedding network

num of residual block \(10 \rightarrow 5\)

num of flows \(15 \rightarrow 30\)

(1024, 512, 256, 128)

\(n\sim p(S_n)\)

\(S^{(i)}_n\sim p(S_n)\)

~28 days

~50 days

3 models

time shift
\(\delta t_I \sim \kappa(\delta t_I)\)

?

  • Dax M, Green S R, Gair J, et al. Real-time gravitational-wave science with neural posterior estimation[J]. arXiv preprint arXiv:2106.12594, 2021
# AI for PE

Kolmogorov-Smirnov (KS) Test & Confidence Intervals (C.I.)

A check to ensure that the probability distributions we recover are truly representative of the confidence we should hold in the parameters of the signal.

By setting up a large set of test injections we can see if this is statistically true by determining the frequency with which the true parameters lie within a certain confidence level.

For each run we calculate credible intervals from the posterior samples, for each parameter. We can then examine the number of times the injected value falls within a given credible interval. If the posterior samples are an unbiased estimate of the true probability, then 10% of the runs should find the injected values within a 10% credible interval, 50% of runs within the 50% interval, and so on.

(1409.7215)

Median-unbiased estimators involve random errors and no systematic errors.

https://en.wikipedia.org/wiki/Bias_of_an_estimator

def pp_plot_scratch(Posterior, TrueParams, 
		x_values = np.linspace(0, 1, 1001)):
    '''
    Posterior - (Num of injections, Num of sampleing)
    TrueParams - (Num of injections, )
    '''
    credible_levels = np.array([sum(pd.Series(Posterior[i]) < T)/len(Posterior[i]) \
    				for i, T in enumerate(TrueParams)])
    pp = np.array([sum(credible_levels < xx) /
                       len(credible_levels) for xx in x_values])
    return pp
# AI for PE

Kolmogorov-Smirnov (KS) Test & Confidence Intervals (C.I.)

A check to ensure that the probability distributions we recover are truly representative of the confidence we should hold in the parameters of the signal.

(1409.7215)

x_{poster}\sim \mathcal{N} [\mathcal{N}(x_{true}, \sigma_\mu) , \sigma_{poster}]
\sigma_\mu = \sigma_{poster}
\sigma_\mu > \sigma_{poster}
\sigma_\mu < \sigma_{poster}

A test for pp-plot:

# AI for PE

Kolmogorov-Smirnov (KS) Test & Confidence Intervals (C.I.)

A check to ensure that the probability distributions we recover are truly representative of the confidence we should hold in the parameters of the signal.

(1409.7215)

A test for pp-plot:

\sigma_\mu = \sigma_{poster}
\sigma_\mu > \sigma_{poster}
\sigma_\mu < \sigma_{poster}
x_{poster}\sim \mathcal{N} [\mathcal{N}(x_{true}+\epsilon, \sigma_\mu) , \sigma_{poster}]
# AI for PE

Kolmogorov-Smirnov (KS) Test & Confidence Intervals (C.I.)

A check to ensure that the probability distributions we recover are truly representative of the confidence we should hold in the parameters of the signal.

(1409.7215)

(2008.03312)

(2002.07656)

(1909.06296)

Some cases:

# AI for PE

Simulation-based Inference (SBI)
for GW parameter estimation

  1. 🚀 针对空间引力波探测中大规模黑洞双星（MBHB）在复杂噪声背景下的参数快速估计挑战，该研究提出了一种基于可伸缩Normalizing Flow (NF) 模型的方法。

  2. 💡 该方法创新性地简化了数据复杂度，并利用变换映射克服了Taiji一年周期时间依赖响应函数的挑战，实现了对11维MBHB参数的全面无偏估计。

  3. ✨ 结果表明，该方法比传统技术快几个数量级，同时保持高精度，并揭示了到达时间参数中以前未见的额外多模态性，极大地提高了引力波数据分析效率。

# AI for PE

  1. 🌌 针对引力波数据分析中传统方法（如Markov chain Monte Carlo）面临的计算挑战，该综述探讨了基于机器学习的模拟推断（SBI）方法作为一种高效解决方案。

  2. 💫 论文详细阐述了Normalizing Flows、Neural Posterior Estimation (NPE)、Neural Ratio Estimation (NRE) 和 Flow Matching 等SBI技术，并展示了它们在单源参数估计、叠加信号分析、检验广义相对论及族群研究中的应用。

  3. 🚀 尽管SBI方法在速度上显著提升，但其模型依赖性、先验假设敏感性、可解释性及验证挑战仍是其广泛采纳的障碍，未来研究将着重于结合AI与传统方法的混合范式。

arXiv:2507.11192.
literature covered up to early 2025 only.

Simulation-based Inference (SBI)
for GW parameter estimation

# AI for PE

Key Takeaway

The "Real" Reasons We Apply ML to GW Astrophysics

Let's be honest about our motivations... 😉

The perfectly valid "scientific" reasons:

  1. ✓ It sounded like a cool project
  2. ✓ My supervisor said it was a good thing to work on
  3. ✓ I will learn some really useful ML skills
  4. ✓ I'm already good at ML
  5. ✓ I want to get better at ML
  6. ✓ I want to get a high-paying job after this PhD/postdoc
  7. ✓ I want to be spared when the machines take over

Credit: Chris Messenger (MLA meeting,, Jan 2025)

# AI for PE

Key Takeaway

Why is AI/ML Everywhere in GW Research?

The core motivations behind nearly all AI+GW research

1

ML is FAST

So much data, so little time!

• Bayesian parameter estimation
• Replaces computationally intensive components

2

ML is ACCURATE*

Consistently outperforms traditional approaches

• Unmodelled burst searches
• Continuous GW searches

3

ML is FLEXIBLE

Provides deeper insights into complex problems

• Reveals patterns through interpretability
• Enables previously impractical approaches

* When properly trained and validated on appropriate datasets

Credit: Chris Messenger (MLA meeting,, Jan 2025)

Credit: Chris Messenger (MLA meeting,, Jan 2025)

Key question: If an ML (or any) analysis doesn't do 1 or more of these things, then from a scientific perspective,
what is the point? 

# AI for PE

在用SBI等生成模型做参数估计（PE）时，社区里其实逐渐分化出两种不同的范式，可以概括为 Validation-driven 与 Discovery-driven：

  1. 第一种更“保守”的路径，是把流模型当作 MCMC 的加速器或替代实现。目标很明确：在相同似然、相同先验下，复现 MCMC 的后验结果（边缘分布、相关结构、多模态性等），只是速度更快、可扩展性更好。这一范式的说服力来自一致性——如果生成模型在系统误差可控的前提下与 MCMC 达到统计等价，那么它的价值主要体现在计算效率（例如实时或大规模事件处理）。在这个语境下，“没有新发现”反而是一种优点，因为它意味着方法学上是无偏替代。
  2. 另一种更“激进”的路径，则把生成模型视为一种可能揭示新结构的工具。这里的逻辑是：流模型（或更广义的神经后验估计）在表达能力、全局建模和高维耦合刻画上，可能捕捉到传统采样方法难以充分探索的后验特征（例如极窄模态、复杂退化方向，甚至由模型失配或噪声非高斯性引入的结构）。因此，如果生成模型系统性地给出与 MCMC 不同的结果，这不一定被视为错误，而可能被解读为潜在的新物理或新数据特征的信号。

 

Key Takeaway

arXiv:2310.13405, LIGO-P2300306

PRL 127, 24 (2021) 241103.

PRL 130, 17 (2023) 171403.

arXiv:2310.12209

Fast Parameter Inference on Pulsar Timing Arrays with Normalizing Flows

arXiv:2404.14286

DOI:10.1103/PhysRevLett.130.171402

# AI for PE

Key Takeaway

Is It Really So Simple?

The reality of ML in scientific research is more nuanced

No: We need to think more critically

  • ❓ Are we just trying to predict a function?
  • ❓ Are there any astrophysical constraints?
  • ❓ Do we need to understand how/why it works?
  • ❓ What about errors? Quality flags?
  • ❓ What happens if things go wrong?

Twitter: @DeepLearningAI_

# AI for PE

Key Takeaway

Why Even Use AI?

The mathematical inevitability and the path to understanding

Universal Approximation Theorem

The existence theorem that guarantees solutions

  • Neural networks with sufficient hidden layers can approximate any continuous function on compact subsets of \(\mathbb{R}^n\)
  • Ref: Cybenko, G. (1989), Hornik et al. (1989)

The solution is mathematically guaranteed — our challenge is finding the path to it

1

Machine learning will win in the long run

AI models still have vast potential compared to the human brain's efficiency. Beating traditional methods is mathematically inevitable given sufficient resources.

2

The question is not if AI/ML will win, but how

Understanding AI's inner workings is the real challenge, not proving its capabilities.

That's where we can learn something exciting with Foundation Models. 

# AI for PE

一个不可回避的张力：

  • 在 Validation 范式 下，“不同”通常首先被归因为模型误差、训练偏差或近似误差；
  • 在 Discovery 范式 下，“不同”则被赋予物理意义，但前提是你能够排除前者。

因此，一个更现实的中间路径往往是：先在受控设置中完成对 MCMC 的严格对齐（包括覆盖率、校准性、极端尾部行为等），建立可信度；再在真实复杂数据（如非高斯噪声、模型不完备）中系统性地分析偏差来源。如果差异在多种独立实现、不同架构与数据切片下保持稳健，并且能被物理或仪器效应解释，那么才有资格被讨论为“发现”。

换句话说：要么作为无偏加速器被验证；要么对偏差来源给出可解释的物理或统计依据。

Key Takeaway

arXiv:2310.13405, LIGO-P2300306

PRL 127, 24 (2021) 241103.

PRL 130, 17 (2023) 171403.

arXiv:2310.12209

Fast Parameter Inference on Pulsar Timing Arrays with Normalizing Flows

arXiv:2404.14286

DOI:10.1103/PhysRevLett.130.171402

Fast is easy to claim. Better needs an explanation.

引力波数据探索：编程与分析实战训练营

结营仪式与课程总结

主讲老师：王赫

2024/01/14

ICTP-AP, UCAS

  • 训练营课程回顾与总结
    • 课程报名与参与人员情况
    • 教学知识点罗列+自我提升的途径+全新的作业提交模型
  • 作业完成情况 & 竞赛排名情况（提及高中生朋友，请吃饭）
  • 颁奖典礼（竞赛前三名讲解题思路？代表发言？）
  • 后记
    • 感谢主办方和曙光的大力支持（主办方发言？曙光代表发言？）
    • 课程团队的收获与感恩，对我来说也是一种技能提升
    • 赶DDL完成作业没那么容易吧？嘿嘿嘿。。。
    • 可以理解很多同学很忙，但也看到不少同学“很用心”
    • 录屏分享 + B 站开通+记得给课程star（迁移到ICTP的gitlab上）
    • 欢迎更多的反馈：关于太极计划、引力波物理、数理统计与数据分析、PyTorch系统性课程、高效科研工具分享、现代科研方法与学术写作套路、与同学和导师等人际关系、学术圈生存手册、卷的动力学原理初探、通向自我实现之路、如何发现适合自己的人生。。。
    • 见到我，记得和我打招呼

。。。

致谢

  • 主办单位
    • 中国科学院大学 · 国际理论物理中心（亚太地区）
    • 中国科学院大学 - 引力波宇宙太极实验室




       

 


 

  • 赞助单位
    • 中科曙光
张敏 办公室主任
赵洁瑾 行政业务主管
孟繁梓 外联业务主管
刘颖慧 科研业务主管
张乐 学生业务主管
贾海洪 支撑业务主管
但易 活动策划+算力支持
  ...
田昕峣 特邀嘉宾
   
赵俊杰 特邀嘉宾
   
高民权 特邀嘉宾
   

训练营课程回顾与总结

# GWData: Bootcamp
  • 训练营报名初期，有效申请的学员人数共 432 人，来自各行各业。其中一半以上来自理论物理、物理学、天体物理和天文学等专业方向。
  • 在“其他”专业类别中，包含心理学、生物信息与医药、工商管理、材料与化工、地震与地球物理、金融、控制工程等等。
  • 在学员填写的 “个人研究的主要障碍” 和 “对本课程的期望” 的词云分析中，“引力波”、“机器学习”、“数据处理”、“深度学习”、“能力”、“编程”等是最常见的关键词。
  • 课程报名与参与人员情况

训练营课程回顾与总结

# GWData: Bootcamp
  • 教学大纲与实战项目
  • 通向自我实现之路
    • 对“卷”的理性认识
    • 做研究所需要的范式转换
    • 做好笔记是自我学习的不二捷径
    • 自学路上必会之 “上下求索"的技能
    • 自学路上必会之 “提问的艺术”
  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

训练营课程回顾与总结

# GWData: Bootcamp
  • 教学大纲与实战项目
  • 基础运维技术
    • 什么是Linux/Shell；新手必须掌握的Linux命令
    • 管道符、重定向与环境变量；SSH服务管理远端设备
  • 容器化技术
    • Linux 容器虚拟化；Docker 的极简入门
  • ​​Git 分布式版本控制系统
    • Git 安装/创建版本库；工作区、暂存区、版本库
    • 远程仓库；分支管理；Git 可视化管理工具
  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

训练营课程回顾与总结

# GWData: Bootcamp
  • 教学大纲与实战项目
  • 数据的起源
  • 何谓数据？
  • 现代数据技术的发展脉络
  • 当前主流数据技术
    1. 关系型数据库 (RDBMS)
    2. 非关系型数据库 (Not-only SQL (NoSQL) Database)
    3. 大数据 (Big Data)
    4. 数据仓库 (Data Warehouse)
    5. 流式计算 (Stream Processing)
    6. 数据湖 (Data Lake)
    7. 数据湖仓 (Data Lakehouse)
  • 思考：从数据的角度认识世界
  • 推荐阅读
  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

训练营课程回顾与总结

# GWData: Bootcamp
  • 教学大纲与实战项目
  • LIGO Open Data
  • FFT by Scratch
  • Spectral Analysis by Scratch
  • Data analysis on GW150914
  • Matched filtering to find the signal
  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

训练营课程回顾与总结

# GWData: Bootcamp
  • 教学大纲与实战项目
  • Brief introduction to gravitational wave (引力波简要介绍)
  • Part I: Bayesian inference (贝叶斯推断)
  • Part II: Bayesian computation (贝叶斯计算方法)
    • Markov Chain Monte Carlo (MCMC; 马尔可夫链-蒙特卡罗方法)
    • Nested sampling (嵌套采样)
  • Part III: All in gravitational-wave data (一切尽在引力波数据中)
    • Use Bilby & Parallel Bilby in the GW data analysis
    • Show the complete pipeline for the data analysis
  • The AMAZING Thomas Bayes (为美好的世界献上"贝叶斯定理")
  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

训练营课程回顾与总结

# GWData: Bootcamp
  • 教学大纲与实战项目
  • 人工智能 > 机器学习 > 深度学习
  • 机器学习的定义，目标和过程
  • 机器学习的常见类型
  • 机器学习模型的分类
  • 机器学习项目开发规划与准备及其开发步骤
  • scikit-learn 机器学习库：分类+回归
  • 机器学习中的模型调优与模型融合
    • 特征工程
    • 交叉验证
    • 网格搜索
    • 集成学习
  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

训练营课程回顾与总结

# GWData: Bootcamp
  • 教学大纲与实战项目
  • 深度学习技术的起源、应用、特点
  • 人工智能技术自学材料推荐
  • 深度学习技术的“不能”
  • 深度学习：神经网络基础
  • 模型性能评估与测试调优
  • 一维、二维卷积
  • 引力波信号搜寻：卷积神经网络
  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

训练营课程回顾与总结

# GWData: Bootcamp
  • 教学大纲与实战项目

  • Why AI Was Proposed

  • Earliest Form of AI and Solutions

  • Similarities between AI and Physics Methodologies

  • From Symbolic Systems to Machine Learning

  • Principles of Deep Learning

  • Breakthroughs Brought by Deep Learning

  • Typical Deep Learning Scenarios

  • Pre-trained Models and Large Models

  • Principles of GPT

  • Breakthroughs in AIGC (AI Generated Content)

  • Current Challenges in AI

  • Frontiers of AI Research

  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

训练营课程回顾与总结

# GWData: Bootcamp
  • 如何登峰造极？(自我提升的途径)

https://www.kaggle.com/elenacuoco

  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

训练营课程回顾与总结

# GWData: Bootcamp
  • 作业完成情况
  • 第 0 部分：打鸡血！
    • 通向自我实现之路
  • 第 1 部分：编程开发环境与工作流
    • 基础运维技术
    • 容器化技术
    • 实战项目：Python / Jupyter 开发环境搭建 + 远程连接 VS Code
    • 实战项目：LALsuite / LISAcode 的源码编译 (optional)
    • ​Git 分布式版本控制系统
  • 【公开课】数据技术演进与现实应用 (特邀嘉宾：田昕峣)
  • 第 2 部分：基于 Python 的数据分析基础
    • 数据科学语言 Python 从入门到熟悉
    • 数据分析实训之 Numpy / Pandas
    • 实战项目：GW Event Catalog 的探索性数据分析
    • 实战项目：股票数据分析案例 (optional)
    • 基于 Python 的数据可视化理论与实践之 Matplotlib / Seaborn
    • 实战项目：GWTC 论文中的 Figures
    • 实战项目：针对 GW150914 信号处理与匹配滤波数据分析
  • 【公开课】贝叶斯推断在引力波科学中的应用 (特邀嘉宾：赵俊杰)
  • 第 3 部分：机器学习基础
    • 机器学习算法之应用起步
    • 机器学习算法之应用进阶
    • 实战项目：基于 LIGO 的 Glitch 元数据完成多分类任务
    • 实战项目：基于 LIGO 的 Glitch 时频图数据实现聚类分析
  • 第 4 部分：深度学习基础
    • 深度学习技术概述与神经网络基础
    • 实战项目：训练一个3层神经网络（手撸版）
    • 卷积神经网络与引力波信号探测
    • 实战项目：使用 CNN 识别双黑洞系统引力波信号
    • Kaggle数据科学竞赛 (黑客马拉松): Can you find the GW signals?
  • 【公开课】AI发展全景与GPT前沿解析 (特邀嘉宾：高民权)

  • Python: 108 quizzes

  • Numpy: 10 quizzes

  • Pandas: 12 quizzes

  • LeetCode: 5 problems

  • Matplotlib: 4 datasets

  • Seaborn: 4 datasets

  • Git / GitHub: Pull Request

  • Credit Scoring dataset

    • Modeling 

    • Finetune

  • Kaggle competition

    • Can you find the GW signal?

https://github.com/iphysresearch/GWData-Bootcamp/

训练营课程回顾与总结

# GWData: Bootcamp
  • 作业完成情况
总得分 1 2 3 4 5 6 7
频数 4 5 6 10 7 23 8
前#百分比排名 100.00% 93.65% 85.71% 76.19% 60.32% 49.21% 12.70%

https://github.com/iphysresearch/GWData-Bootcamp/tree/main?tab=readme-ov-file#hall-of-fame-龍虎榜

部分获奖同学：

训练营课程回顾与总结

# GWData: Bootcamp
  • 竞赛排名情况

  • 概述

    • 欢迎参加“引力波数据探索：编程与分析实战训练营”系列课程的最后挑战 - “你能找到引力波信号吗？”Kaggle数据科学竞赛（黑客马拉松）！这个竞赛旨在应用你在整个课程中学到的知识和技能，重点关注引力波数据分析和研究。

  • 任务目标

    • 本次竞赛的目标是开发一个能够准确识别引力波信号的模型。我们将提供一个包含噪声和引力波信号的数据集。你的任务是开发一个能够准确区分两者的模型。

  • 时间线（7天）

    • 本竞赛将于北京时间 2023年12月29日22:00 开始，并于北京时间 2024年1月6日23:59 结束。请确保在截止日期前提交你的解决方案。

https://www.kaggle.com/competitions/2023-gwdata-bootcamp/

训练营课程回顾与总结

# GWData: Bootcamp
  • 竞赛排名情况

https://public.flourish.studio/visualisation/16361996/

  • 作为本次竞赛的冠军，XAO团队展现了非凡的实力。现在让我们有请这个团队的黄震洋同学作为代表，来分享一下他们背后的故事和解题策略。show time！

https://github.com/iphysresearch/GWData-Bootcamp/blob/main/2023/deep_learning/baseline/plot_kaggle_ranking.ipynb​

训练营后记

# GWData: Bootcamp
  • 欢迎各类反馈与建议：

记得给课程 Star

  • 太极计划引力波物理的最新发展
  • 深入数理统计与数据分析的世界
  • 全面了解PyTorch系统性课程
  • 发现高效科研工具的秘密
  • 掌握现代科研方法与学术写作的技巧
  • 改善与同学和导师的人际关系
  • 学术圈生存的实用指南
  • 探索卷的动力学原理
  • 寻求自我实现的途径
  • 如何找到适合自己的人生方向
  • 见到我，记得和我打招呼，期待交流与反馈