东北大学引力波宇宙学与射电天文学研究中心青年学者研讨会

2022.12.21 14:20-15:20 | 中国·沈阳 | 腾讯会议ID: 744-6777-4439

Machine Learning in Gravitational Wave Data Analysis

机器学习在引力波数据处理中的应用

王赫

hewang@ucas.ac.cn

国际理论物理中心（亚太地区）

  • 引力波天文学
  • 引力波数据处理
  • 深度学习技术浅谈
  • 基于深度学习的引力波数据处理技术
    • 信号识别
    • 参数估计
    • 波形建模
    • 数据降噪
  • 趋势、机会与挑战

目录

  1. 引力波天文学 【2】
    • 什么是引力波
    • 蓬勃发展的引力波天文学
  2. 引力波数据处理 【3】
    • LIGO 数据是什么样子
      • 复杂的噪声 + 不同波源的波形
    • 匹配滤波技术是什么，及其局限性和面临的挑战
  3. 深度学习技术浅谈 【3】
    • 人工智能/机器学习/深度学习的简史和相互关系
    • 引力波数据处理技术与深度学习的联系
  4. 基于深度学习的引力波数据处理技术【30】 
    • ​信号识别 【10】
      • CBC / Burst / CW / SGWB
    • 参数估计【10】
    • 波形建模【5】
    • 噪声去除【5】
      • Glitch
  5.  趋势、机会和挑战【2】
    • 未涉及的：population / space+XG detector
    • mention: mlgwsc1 / Kaggle,  ML in GWDA

(​40-45min)

Gravitational wave astronomy

引力波天文学

  • 什么是引力波
  • 引力波与基础物理
  • 蓬勃发展的引力波天文学

  • 爱因斯坦于1916年提出广义相对论，并预言了引力波的存在

  • 引力波是广义相对论中的一种强场效应

    • 2015年：首次实验探测到双黑洞并合引力波

    • 2017年：首个双中子星多信使探测，开启多信使天文学时代

    • 2017年：引力波探测成果被授予诺贝尔物理学奖

    • 至今：发现了超过 90 个引力波事件

  • 未来：

    • 2023-2024年：第四次引力波探测阶段，有希望探测更多不同类型的引力波事件

    • 空间引力波探测计划 / XG (CE/ET)

引力波天文学

双星并合系统产生的引力波波源

引力波振幅的测量

地面引力波探测器网络

2017 年诺贝尔物理学奖

  • 引力波探测打开了探索宇宙的新窗口

  • 不同波源，频率跨越 20 个数量级，不同探测器

引力波天文学

  • 致密双星并合产生引力波 (IMR: BBH, BHNS; IM: BNS)

  • 超新星爆发/伽马射线暴等产生引力波 (Burst:  CCSNe, ​GRBs)

  • 孤立中子星等产生连续引力波 (CW)

  • 随机引力波背景 (SGWB)

Nature Reviews Physics 3, 344–366 (2021)

https://spaceaustralia.com/news/cosmic-lighthouses-and-continuous-gravitational-waves
Different types of gravitational-wave sources. Credit: Shanika Galaudage.

  • 基础理论的检验与修正
    • 基础物理学
      • 引力子是否有质量, 引力波的传播速度 ...
    • 天体物理学
      • 大质量恒星演化模型, 恒星级双黑洞的形成机制 ...
    • 宇宙学
      • 哈勃常数的测量, 暗能量 ...

引力波天文学

引力波暂现源星表 (GWTC-3)

致密双星并合系统

https://ligo.northwestern.edu/media/mass-plot/index.html

  • 伯纳德·舒尔茨曾列出成功观测引力波的五条关键要素：
    1. 良好的探测器技术
    2. 良好的波形模板
    3. 良好的数据分析方法和技术
    4. 多个独立探测器间的一致性观测
    5. 引力波天文学和电磁波天文学的一致性观测

​​DOI:10.1063/1.1629411

  • 基础理论的检验与修正
    • 基础物理学
      • 引力子是否有质量, 引力波的传播速度 ...
    • 天体物理学
      • 大质量恒星演化模型, 恒星级双黑洞的形成机制 ...
    • 宇宙学
      • 哈勃常数的测量, 暗能量 ...

引力波天文学

引力波暂现源星表 (GWTC-3)

  • 伯纳德·舒尔茨曾列出成功观测引力波的五条关键要素：
    1. 良好的探测器技术
    2. 良好的波形模板
    3. 良好的数据分析方法和技术
    4. 多个独立探测器间的一致性观测
    5. 引力波天文学和电磁波天文学的一致性观测

​​DOI:10.1063/1.1629411

首次探测双黑洞并合引力波事件 GW150914

Gravitational wave data analysis

引力波数据处理

  • 匹配滤波技术
  • 困难与挑战

匹配滤波技术

  • Frequentist hypothesis testing and likelihood princple:

    • make some assumptions about signal and noise hypothesis

    • write down the likelihood function for a signal in noise

    • find the parameters that maximise it

    • define a corresponding detection statistic

      \(\rightarrow\) recover the MF
  • Bayesian hypothesis testing:
    • start from the same likelihood
    • define a prior over signal parameters
    • marginalise over them to arrive at a Bayes factor
    • Often the dirty secret: just treat this as a Frequentist detection statistic
      \(\rightarrow\) recover the MF (for certain prior choices)

  • 匹配滤波方法

    • 高斯且稳态噪声环境下，提取弱信号的最优线性算法

    • 假设：引力波观测数据 = 高斯稳态噪声 + 某引力波信号
                                     \(d(t) = n(t) + h(t)\)

    •  匹配滤波信噪比 (SNR)  \(\rho(t)\):



      其中





      噪声的(单边)功率谱密度 (PSD): \(S_n(f)\) 。

  • 信号处理角度的理解：

    • 若某一段时域数据流作为输入，探测统计量 (即匹配滤波信噪比) 是另一段输出的时序数据流，问怎样的线性滤波器可以使得输出结果最大？

  • ​Frequentist / Bayesian 角度的理解: 略

\rho^2(t)\equiv \frac{|\langle d|h \rangle(t)|^2} {\langle h|h \rangle}
\langle d|h \rangle (t) = 4\int^\infty_0\frac{\tilde{d}(f)\tilde{h}^*(f)}{S_n(f)}e^{2\pi ift}df
\langle h|h \rangle = 4\int^\infty_0\frac{\tilde{h}(f)\tilde{h}^*(f)}{S_n(f)}df , \, \tilde{h}_w(f) \equiv \frac{\tilde{h}(f)}{ \sqrt{S_n(f)}}

匹配滤波技术

脉冲响应函数：

h_w[t]
d_w[t]
\rho[t]

线性滤波器

输入序列

输出序列

h_w[t]

  • 匹配滤波方法

    • 高斯且稳态噪声环境下，提取弱信号的最优线性算法

    • 假设：引力波观测数据 = 高斯稳态噪声 + 某引力波信号
                                     \(d(t) = n(t) + h(t)\)

    •  匹配滤波信噪比 (SNR)  \(\rho(t)\):



      其中





      噪声的(单边)功率谱密度 (PSD): \(S_n(f)\) 。

  • 信号处理角度的理解：

    • 若某一段时域数据流作为输入，探测统计量 (即匹配滤波信噪比) 是另一段输出的时序数据流，问怎样的线性滤波器可以使得输出结果最大？

  • ​Frequentist / Bayesian 角度的理解: 略

\rho^2(t)\equiv \frac{|\langle d|h \rangle(t)|^2} {\langle h|h \rangle}
\langle d|h \rangle (t) = 4\int^\infty_0\frac{\tilde{d}(f)\tilde{h}^*(f)}{S_n(f)}e^{2\pi ift}df
\langle h|h \rangle = 4\int^\infty_0\frac{\tilde{h}(f)\tilde{h}^*(f)}{S_n(f)}df , \, \tilde{h}_w(f) \equiv \frac{\tilde{h}(f)}{ \sqrt{S_n(f)}}

匹配滤波技术

  • 匹配滤波方法

    • 高斯且稳态噪声环境下，提取弱信号的最优线性算法

    • 假设：引力波观测数据 = 高斯稳态噪声 + 某引力波信号
                                     \(d(t) = n(t) + h(t)\)

    •  匹配滤波信噪比 (SNR)  \(\rho(t)\):



      其中





      噪声的(单边)功率谱密度 (PSD): \(S_n(f)\) 。

  • 信号处理角度的理解：

    • 若某一段时域数据流作为输入，探测统计量 (即匹配滤波信噪比) 是另一段输出的时序数据流，问怎样的线性滤波器可以使得输出结果最大？

  • ​Frequentist / Bayesian 角度的理解: 略

\rho^2(t)\equiv \frac{|\langle d|h \rangle(t)|^2} {\langle h|h \rangle}
\langle d|h \rangle (t) = 4\int^\infty_0\frac{\tilde{d}(f)\tilde{h}^*(f)}{S_n(f)}e^{2\pi ift}df
\langle h|h \rangle = 4\int^\infty_0\frac{\tilde{h}(f)\tilde{h}^*(f)}{S_n(f)}df , \, \tilde{h}_w(f) \equiv \frac{\tilde{h}(f)}{ \sqrt{S_n(f)}}

匹配滤波技术的困难与挑战

真实引力波数据的非高斯性

  • 引力波科学数据的特点

    • ​噪声特点：非高斯 + 非稳态

    • 信号特点：信噪比低 (约噪声幅度的1/100)

  • 波形模板库的局限性
    • 需要大量的精确波形模板以确保无遗漏，至少百万数量级
    • 受限于已知引力理论预言的波形模板，难以搜寻超越经典理论的引力波信号

O1 观测运行时用的波形模板库

匹配滤波技术的困难与挑战

  • 地面引力波探测科学数据的特点

    • ​噪声特点：非高斯 + 非稳态

    • 信号特点：信噪比低 (约噪声幅度的1/100)

  • 波形模板库的局限性
    • 需要大量的精确波形模板以确保无遗漏，至少百万数量级
    • 受限于已知引力理论预言的波形模板，难以搜寻超越经典理论的引力波信号
  • 多信使天文学的兴起 + 引力波探测技术的进步
    • ​低(负)延迟的引力波信号搜寻
    • 海量的累积数据和成批的引力波事件，有待高效的仔细分析

在 GW170817 事件后 1.74\(\pm\)0.05s 的伽玛暴 GRB 170817A

From: LIGO-G2102497

Binary detection rates

  • O3 ~ 1/5 days
  • O4 ~ 1/2 days
  • O5 ~ 3 / day

Simulated Event Stream for a one year duration O4 run

累积观测时间下发现的引力波事件数目

真实引力波数据的非稳态性

O1 观测运行时用的波形模板库

引力波数据

GW150914 的数据预处理

  • 引力波数据：噪声 + 信号

  • 噪声特点：非高斯 + 非稳态

  • 信号特点：信噪比低（噪声幅度的1/100）

CQG. 37 (2020) 055002

https://spaceaustralia.com/news/cosmic-lighthouses-and-continuous-gravitational-waves
Different types of gravitational-wave sources. Credit: Shanika Galaudage.

Investigation of Loud Transient Noise Sources in aLIGO

https://dcc.ligo.org//LIGO-G2300357

Machine Learning & Deep learning

深度学习技术浅谈

  • 人工智能时代
  • 机器学习 vs 深度学习
  • 深度学习驱动的引力波数据分析技术

  • 2016年，AlphaGo 第一版发表在了 Nature 杂志上

  • 2021年，AI预测蛋白质结构登上 Science、Nature 年度技术突破，潜力无穷

  • 2022年，DeepMind团队通过游戏训练AI发现矩阵乘法算法问题​

  • 《达摩院2022十大科技趋势》将 AI for Science 列为重要趋势

    • “人工智能成为科学家的新生产工具，催生科研新范式”

  • AI for Science：为科学带来了模型与数据双驱动的新的研究范式

    • AI + 数学、AI + 化学、AI + 医药、AI + 物理、AI + 天文 ...

人工智能时代

AlphaGo 围棋机器人

AlphaTensor 发现矩阵算法

AlphaFold 蛋白质结构预测

机器学习 vs 深度学习

传统机器学习

深度学习

输入

特征提取

输入

特征

传统机器学习算法

输出

输入

自动特征提取 + 分类

输出

  • ​机器学习：

    • ​​线性回归模型、决策树模型、支撑向量机、马尔科夫链-蒙特卡洛方法 (MCMC) ...

  • 深度学习：

    • 用神经网络实现自动特征提取的模型

    • 深度神经网络是一个万能的函数拟合器​​，可以表征任意复杂度的非线性函数映射

    • 特点：端到端、数据驱动、过参数化 ...

  • 传统​引力波数据分析方法 ~ 传统机器学习方法

人工智能 > 机器学习 > 深度学习

人工智能

机器学习

深度学习

人工智能的一个分支。机器学习是用数据或以往的经验，以此优化计算机程序的性能标准

机器学习的一个分支。基于神经网络结构实现端到端的一种建模方法

任何能实现以人类智能相似的方式做出反应的技术

深度学习驱动的引力波数据分析技术

  • 基于机器学习技术的引力波数据分析方向成为新研究热点

  • 一些重要的综述文章：

    • Huerta, E. A., et al. “Enabling Real-Time Multi-Messenger Astrophysics Discoveries with Deep Learning.” Nature Reviews Physics 1, no. 10 (October 1, 2019): 600–608.

    • Cuoco, Elena, et al. “Enhancing Gravitational-Wave Science with Machine Learning.” Machine Learning: Science and Technology 2, no. 1 (December 4, 2020): 011002.

    • Cuoco, Elena, et al. “Computational Challenges for Multimodal Astrophysics.” Nature Computational Science 2, no. 8 (August 1, 2022): 479–85.​

  • 深度学习技术应用在引力波科学数据处理流程各个环节 (分类问题 and/or 回归问题)

    • ​数据质量提升：非高斯短时脉冲噪声的抑制 (deglitch)

    • 波形建模：快速生成理论精确模版

    • 信号搜寻：快速准确识别引力波信号

    • 波源参数反演：快速准确的后验概率分布估计

深度学习驱动的引力波数据分析技术

Data quality improvement

Credit: Marco Cavaglià 

LIGO-Virgo 数据处理流程

GW waveform modeling

GW searches

Astrophsical interpretation of GW sources

CQG. 37 (2020) 055002

Gravitational-wave astronomy turns to AI

基于深度学习的引力波数据处理技术 

  • 引力波信号搜寻

LIGO-Virgo 数据处理流程

引力波信号搜寻

  • 四种不同的引力波波源，每一种都是不同的挑战，数据分析方法也不同

    • ​CBC：匹配滤波。计算消耗大，对波形模板精度要求高

    • Busrt：如何探测一个非模板的信号，要依赖探测器之间的相关性

    • CW：探测难度大，需要同时处理海量数据，计算消耗惊人

    • SGWB：搜寻需要依靠互相关性

原理验证研究

  • 深度卷积神经网络模型可以用来搜寻双黑洞并合系统所产生的引力波

  • 输入是白化后的时序数据

  • 噪声特点是高斯模拟噪声

  • 灵敏度：与匹配滤波方法可比拟

  • 执行速度：远胜过匹配滤波方法 (有GPU加持)

  • PRD, 2018, 97(4): 044039.
  • PRL, 2018, 120(14): 141103.

Proof-of-principle studies

原理验证研究

Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012)

  • 不同网络模型构造的探索  Frontiers of Physics, 2020, 15(1): 1-6; PRD, 2021, 103(2): 024040;
  • 不同输入数据特征的探索
    • ​时域 / 时频域
    • 多探测器通道 Sci. China: Phys. Mech. Astron., 2019, 62(6): 1-8.
    • 特征预处理 Front. Phys. 2020, 15(5): 1-11.
  • ​其他波源类型的探索
    • ​BNS/NSBH PRD 2020, 102(6): 063015; PLB 2021, 816: 136185; PRD 2021, 104(6): 062004
    • CCSNe PRD 98, 122002 (2018).; MLST 2020, 1(2): 025014.; PRD 2020, 102(4): 043022.; PRD 2021, 103(6): 063011*
    • CW PRD 2019, 100(4): 044009; PRD 2020, 102(2): 022005*; PRD  2020, 102(8): 083024; PRD 2021, 103(6): 064027
    • Lensed GW APJ 2021, 915(2): 119; PRD 2021, 104(12): 124057
  • 不同输出数据特征的探索
    • ​BNS + BBH + Glitch + ...
    • 信号探测+参数反演
  • ​负延迟任务的探索​ PRD 2021, 103(10): 102003; PLB 2021, 816: 136185; PRD 2021, 104(6): 062004
  • 许多研究者从不同的角度和问题出发，验证在高斯稳态噪声和模拟的理论波形下，卷积神经网络的优异性能。

Convolutional Neural Network (ConvNet or CNN)

Proof-of-principle studies

Ref: https://iphysresearch.github.io/Survey4GWML/

原理验证研究

GW150914

GW151012

GW151226

Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012)

Convolutional Neural Network (ConvNet or CNN)

  • 将 CNN 模型在真实噪声和真实引力波事件上测试，效果很糟糕 😰

GPS 时间轴

Proof-of-principle studies

Ref: https://iphysresearch.github.io/Survey4GWML/

  • 不同网络模型构造的探索  Frontiers of Physics, 2020, 15(1): 1-6; PRD, 2021, 103(2): 024040;
  • 不同输入数据特征的探索
    • ​时域 / 时频域
    • 多探测器通道 Sci. China: Phys. Mech. Astron., 2019, 62(6): 1-8.
    • 特征预处理 Front. Phys. 2020, 15(5): 1-11.
  • ​其他波源类型的探索
    • ​BNS/NSBH PRD 2020, 102(6): 063015; PLB 2021, 816: 136185; PRD 2021, 104(6): 062004
    • CCSNe PRD 98, 122002 (2018).; MLST 2020, 1(2): 025014.; PRD 2020, 102(4): 043022.; PRD 2021, 103(6): 063011*
    • CW PRD 2019, 100(4): 044009; PRD 2020, 102(2): 022005*; PRD  2020, 102(8): 083024; PRD 2021, 103(6): 064027
    • Lensed GW APJ 2021, 915(2): 119; PRD 2021, 104(12): 124057
  • 不同输出数据特征的探索
    • ​BNS + BBH + Glitch + ...
    • 信号探测+参数反演
  • ​负延迟任务的探索​ PRD 2021, 103(10): 102003; PLB 2021, 816: 136185; PRD 2021, 104(6): 062004
  • 许多研究者从不同的角度和问题出发，验证在高斯稳态噪声和模拟的理论波形下，卷积神经网络的优异性能。

匹配滤波-卷积神经网络

Matched-filtering Convolutional Neural Network (MFCNN)

  • 改进并开发神经网络模型，以适应真实的引力波观测数据的任务
  • 匹配滤波算法当中的波形模板 \(\rightarrow\) 卷积层中的卷积核权重参数
  • 匹配滤波感知层 (matched-filtering layer)
  • 可以准确探测到 GWTC-1 中的 11 个真实引力波事件，甚至包括 GW170817
  • 引力波信号处理 \(\rightarrow\) 智能引力波信号处理

GW150914

GW151012

GW151226

MFCNN
MFCNN
MFCNN

Wang H, Wu SC, Cao ZJ, Liu XL, PRD 2020

GW170817
GW190412
GW190814

GW150914 的实时信号搜寻

GWTC-1/2 的参数空间分布

GPS 时间轴

实践应用研究

Wei W, Khan A, Huerta E A, et al. PLB, 2021

  • 改进并开发神经网络模型，以适应真实的引力波观测数据的任务
  • 或者直接借鉴工业界流行的深度神经网络模型

Wang H, Wu SC, Cao ZJ, Liu XL, PRD 2020

Álvares João D, et al. CQG 2021

Menéndez-Vázquez A, et al. PRD 2021

Gebhard T D, Kilbertus N, Harry I, et al. PRD 2019

GWTC-1 & 34/37 in GWTC-2

8/11 in GWTC-1

All BBHs in GWTC-1

All CBCs in GWTC-1

GWTC-1 & GW190412, GW190521

Production search studies

  • 匹配滤波算法 vs 各类机器学习模型，到底孰优孰劣？
  • 引力波信号搜寻算法基准测试 (MLGWSC-1)
  • PyCBC 和 cWB 是 LIGO-Virgo 主流的两套数据分析流水线
  • Dataset-4: 采样自 O3a 真实引力波观测数据
  • 在模拟噪声数据上，机器学习算法和 LIGO 最灵敏的信号搜寻流水线相比，是非常有竞争力的
  • 测试的大多数机器学习算法对非高斯的真实噪声背景过于敏感，误报率高
  • 传统信号搜寻算法可以在低误报率水平下识别引力波信号，置信度有保障
  • 测试的机器学习算法对长时信号的识别能力非常有限

实践应用研究

http://arxiv.org/abs/2209.11146

Production search studies

机器学习算法分类器的缺陷

  • 机器学习算法输出的信号存在与否的“概率” (p-value)，不能作为探测统计量，其无法对疑似信号的统计显著性进行排序
  • "The negative log-likelihood cost function always strongly penalizes the most active incorrect prediction.
    And the correctly classified examples will contribute little to the overall training cost.    "
    —— I. Goodfellow, Y. Bengio, A. Courville. Deep Learning. 2016.

Menéndez-Vázquez A, et al. PRD 2021

Softmax 函数

网络模型的输出

p-value

noise

noise + signal

p-value

hist

集成学习系统

  • 集成学习系统的结构对判断引力波信号提供置信度具有天然优势，可以有效地压低误报率
  • 投票法 (voting) 是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性和泛化能力

Huerta E A, Khan A, Huang X, et al. Nature Astronomy, 2021

Ma CL, Wang W, Wang H, Cao ZJ. PRD 2022

原理验证研究

  • Fan X L, Li J, Li X, et al. SCIENCE CHINA Physics, Mechanics & Astronomy, 2019, 62(6): 1-8.
  • Li X R, Yu W L, Fan X L, et al. Frontiers of physics, 2020, 15(5): 1-11.
  • Xia H, Shao L, Zhao J, et al. Physical Review D, 2021, 103(2): 024040.
  • Luo H M, Lin W, Chen Z C, et al. Frontiers of Physics, 2020, 15(1): 1-6.
  • BNS/NSBH
  • Lin B J, Li X R, Yu W L. Frontiers of Physics, 2020, 15(2): 1-7.
  • Schäfer M B, Ohme F, Nitz A H. Physical Review D, 2020, 102(6): 063015.
  • Wei W, Huerta E A. Physics Letters B, 2021, 816: 136185.
  • Yu H, Adhikari R X, Magee R, et al. Physical Review D, 2021, 104(6): 062004.
  • Lensed GW
  • Kim K, Lee J, Yuen R S H, et al. Identification of Lensed Gravitational Waves with Deep Learning[J]. The Astrophysical Journal, 2021, 915(2): 119.
  • Goyal S, Harikrishnan D, Kapadia S J, et al. Physical Review D, 2021, 104(12): 124057.
  • CCSNe
  • P. Astone, P. Cerdá-Durán, I. Di Palma, M. Drago, F. Muciaccia, C. Palomba, and F. Ricci, Phys. Rev. D 98, 122002 (2018).
  • Iess A, Cuoco E, Morawski F, et al. Machine Learning: Science and Technology, 2020, 1(2): 025014.
  • Chan M L, Heng I S, Messenger C. Physical Review D, 2020, 102(4): 043022.
  • López M, Di Palma I, Drago M, et al. Physical Review D, 2021, 103(6): 063011. (real noise)
  • CW
  • Dreissigacker C, Sharma R, Messenger C, et al. Physical Review D, 2019, 100(4): 044009.
  • Dreissigacker C, Prix R. Physical Review D, 2020, 102(2): 022005. (real noise)
  • Bayley J, Messenger C, Woan G. Physical Review D, 2020, 102(8): 083024.
  • Beheshtipour B, Papa M A. Physical Review D, 2021, 103(6): 064027.
  • early inspiral
  • Baltus G, Janquart J, Lopez M, et al. Physical Review D, 2021, 103(10): 102003.
  • Wei W, Huerta E A. Physics Letters B, 2021, 816: 136185.  (图)
  • Yu H, Adhikari R X, Magee R, et al. Physical Review D, 2021, 104(6): 062004.

Gravitational-wave astronomy turns to AI

基于深度学习的引力波数据处理技术 

LIGO-Virgo 数据处理流程

  • 引力波波源参数反演

引力波波源参数反演

  • 传统的参数估计技术依赖于贝叶斯分析方法 (posteriors + evidence)

  • 面向 CBC，LIGO-Virgo 参数估计软件：

    • Bilby / LALInference / PyCBC Inference / RIFT

  • 对完整的15 维后验分布估计，计算消耗非常大：
    • 计算似然函数 + 模板生成耗时
  • 期待机器学习算法能够加速！若能实现实时，将更有助于信号探测！
  • 深度生成模型：条件变分自编码器 (CVAE)
  • 基于设计灵敏度的噪声功率谱​，高斯模拟噪声
  • 输出一个完整 15 维后验概率分布，约耗时 1s

耗时对比

一个样例：15 维参数的后验概率分布

原理验证研究

Proof-of-principle studies

原理验证研究

归一化流模型示意图

  • 深度生成模型：归一化流模型 (Nflow)
  • 基于设计灵敏度的噪声功率谱​，高斯模拟噪声
  • 实现快速的无似然函数推断 (likelihood-free inference)
  • 和 MCMC 对比，参数后验推断刻画地更加细致

Proof-of-principle studies

  • 深度生成模型：归一化流模型 (Nflow)
  • 基于 GW150914 附近噪声估计的噪声功率谱
  • 首次实现对真实引力波事件 GW150914 的完整后验参数估计
  • 50,000 后验样本耗时约 8 秒

实践应用研究

Wang H, Cao Z, et al. Big Data Mining and Analytics, 2021

Production search studies

  • 深度生成模型：归一化流模型 (Nflow)
  • DINGO
    • ​测试 GWTC-1 的 BBH 事件
    • 耗时 < 1 min (≈ 20 s, IMRPhenomPv2)
    • ​开始为 ​O4 部署，有望成为新的引力波信号搜寻流水线
  • DINGO-IS​
    • ​测试 GWTC-3 中 42 BBH 事件
    • 耗时 ≲ 1 h (IMRPhenomXPHM)，≈ 10 h (SEOBNRv4PHM, 64 CPU cores)
    • 能够计算 evidence

实践应用研究

http://arxiv.org/abs/2210.05686​

Production search studies

实践应用研究

Production search studies

Wildberger, Jonas, et al. "Adapting to noise distribution shifts in flow-based gravitational-wave inference." arXiv preprint arXiv:2211.08801 (2022).

Gravitational-wave astronomy turns to AI

基于深度学习的引力波数据处理技术 

  • 引力波波形建模

LIGO-Virgo 数据处理流程

引力波波形建模

Liao CH, Lin FL. PRD 2021

  • 引力波探测中的匹配滤波方法需要高精度的波形模板

  • 主流的波形模板理论

    • 数值方法: 数值相对论

    • ​解析方法: 有效单体近似、唯象方法、数值相对论surrogate

  • 原理验证研究

    • 输入波源参数 \(\rightarrow\) 输出IMR波形

    • 输入旋进阶段波形 \(\rightarrow\) 输出MR波形

  • 目标：快速准确的参数估计

Lee J, et al. PRD 2021

Schmidt S. et al. PRD 2021

Khan A, Huerta EA, Zheng H. PRD 2022

数值相对论

97% 匹配度，建模速度快 10-100 倍

生成 99% 匹配度的 1500 波形耗时 \(\mathcal{O}(1)\) 秒

PCA+ANN: 实现从初始参数\((q, s_1, s_2)\)到球谐模式的映射

Gravitational-wave astronomy turns to AI

基于深度学习的引力波数据处理技术 

  • 引力波数据降噪

LIGO-Virgo 数据处理流程

引力波数据降噪

  • 数据质量的提升是一个非常复杂的问题，超过 20 万个传感器通道的数据会决定引力波科学数据通道的质量

  • 降低引力波数据中非高斯的短时脉冲波干扰 (Glitch)，会有助于减少引力波信号误报率

  • 引力波探测数据中去除 Glitch，是一个多分类问题

    • 传统机器学习算法​ ​Powell J, et al. CQG, 2015
    • 深度学习算法 Zevin, M, et al. CQG, 2017; Razzano M, Cuoco E. CQG, 2018; Ormiston R, et al. PRR, 2020
  • ​与其消除数据的非高斯性，何不直接把信号重构出来？这有助于发现理论预言之外的引力波信号！

    1400Ripples                             Air Compressor                                   Blip

    Extremely Loud                                  Helix                                          Koi Fish

部分 Glitch 的样例

真实引力波数据的非高斯性

Ormiston R, et al. PRR, 2020

引力波数据降噪

  • 模型：降噪自编码器 (DAE)
  • 通过深度学习模型构造“编码器-解码器”，可以实现真实引力波事件信号的波形重构
  • 相关研究的不足之处：
    • 难以同时精确重构波形的相位和振幅信息
  • ​潜力：有望发现超越广相的引力波信号！

Murali C and Lumley D. arXiv: 2210.01718

Bacon P. et al.  arXiv: 2205.13513

GW170823

Chatterjee C, Wen L, et al. PRD 2021

Wei W and Huerta E A. PLB 2020

引力波数据降噪

  • 模型：Transformer
  • Billion-scale 大模型对全频段的引力波探测数据实现噪声去除和引力波信号的波形重构
  • Highlights:
    • 抑制观测​噪声幅度 (包括Glitch) 1-2 个数量级以上
    • 对引力波信号幅度和相位信息精确重构

(In preparation)

Preliminary

引力波数据降噪

Preliminary

(In preparation)

  • 模型：Transformer
  • Billion-scale 大模型对全频段的引力波探测数据实现噪声去除和引力波信号的波形重构
  • Highlights:
    • 抑制观测​噪声幅度 (包括Glitch) 1-2 个数量级以上
    • 对引力波信号幅度和相位信息精确重构

The future challenges of AI for gravitational astronomy

趋势、机会和挑战

  • 空间引力波数据处理的挑战
  • 未来展望与总结

空间引力波数据处理的挑战

  • 空间引力波探测主要有以下 4 类波源：

    • 恒星级质量的致密双星 (黑洞、中子星、白矮星以及它们的两两组合) 的旋近

    • 双白矮星的并合、​超大质量双黑洞的并合

    • 极端质量比旋进 (通常是一个恒星级致密天体绕着一个超大质量黑洞的旋进）

    • 宇宙中可能存在的中等质量双黑洞以及前面这些源的信号叠加形成的引力波背景

  • 传统数据处理技术的挑战
    • 波形模板：在计算精度和效率上的要求比地面引力波探测更高
    • 信号探测/参数估计：待定参数数目 (~\(10^5\)) 远高于地面引力波探测 (~\(10^1\))
    • 数据降噪：大量银河系内致密双星旋进信号构成前景噪声背景
    • 其他: 数据的非稳态性 (gap, slow variation and glitch)，SGWB，...

MNRAS 488, L94–L98 (2019)

  • Bayle, Jean-Baptiste, et al. Nature Astronomy 6.12 (2022): 1334-1338.
  • Speri, L., Karnesis, N., Renzini, A.I. et al.  Nature Astronomy 6.12 (2022): 1356-1363.

Credit: ESA, K. Holley-Bockelmann

空间引力波数据处理的挑战

Credit: ESA, K. Holley-Bockelmann

空间太极计划

欧航局 LISA 计划

  • 空间引力波探测主要有以下 4 类波源：

    • 恒星级质量的致密双星 (黑洞、中子星、白矮星以及它们的两两组合) 的旋近

    • 双白矮星的并合、​超大质量双黑洞的并合

    • 极端质量比旋进 (通常是一个恒星级致密天体绕着一个超大质量黑洞的旋进）

    • 宇宙中可能存在的中等质量双黑洞以及前面这些源的信号叠加形成的引力波背景

  • 传统数据处理技术的挑战
    • 波形模板：在计算精度和效率上的要求比地面引力波探测更高
    • 信号探测/参数估计：待定参数数目 (~\(10^5\)) 远高于地面引力波探测 (~\(10^1\))
    • 数据降噪：大量银河系内致密双星旋进信号构成前景噪声背景
    • 其他: 数据的非稳态性 (gap, slow variation and glitch)，SGWB，...
  • Bayle, Jean-Baptiste, et al. Nature Astronomy 6.12 (2022): 1334-1338.
  • Speri, L., Karnesis, N., Renzini, A.I. et al.  Nature Astronomy 6.12 (2022): 1356-1363.
  • 机器学习技术的原理验证研究
    • 波形建模：
      • MBHB Chua AJK, et al. PRL 2019
      • EMRI Chua AJK, et al. PRL 2021
    • 参数估计：MBHB Chua AJK and Vallisneri M. PRL 2021
    • 信号探测：
      • ​EMRI Zhang XT, Messenger C, et al. PRD 2022
      • MBHB Ruan WH, Wang H, Liu C, Guo ZK. arXiv:2111.14546
      • EMRI+MBHB+GBs+SGWB Zhao TY, Lyu R, Ren ZX, Wang H, Cao ZJ. arXiv: 2207.07414
    • 数据降噪：
      • ​GBs Zhang XH, Zhao SD, Mohanty SD, Liu YX. PRD 2022

Chua AJK, Galley CR, Vallisneri M. PRL 2019

Chua AJK, et al. PRL 2021

空间引力波数据处理的挑战

Chua AJK and Vallisneri M. PRL 2021

 ~1s (快 ≳\(10^4\) 倍)

Ruan WH, Wang H, Liu C, Guo ZK. arXiv:2111.14546

Zhao TY, Lyu R, Ren ZX, Wang H, Cao ZJ. arXiv: 2207.07414

Zhang XT, Messenger C. et al. PRD 2022

Zhang XH.et al. PRD 2022

未来展望与总结

Smith R. Nature Physics 2022

GW190707_093326

October 4, 2022 - January 3, 2023

September 22, 2021 - ​September 29, 2021

Andres-Carcasona, M., A. Menendez-Vazquez, M. Martinez, and Ll M. Mir. “Searches for Mass-Asymmetric Compact Binary Coalescence Events Using Neural Networks in the LIGO/Virgo Third Observation Period.” arXiv, December 6, 2022. http://arxiv.org/abs/2212.02829.

  • Huerta, E. A., and Zhizhen Zhao. “Advances in Machine and Deep Learning for Modeling and Real-Time Detection of Multi-Messenger Sources.” In Handbook of Gravitational Wave Astronomy, edited by Cosimo Bambi, Stavros Katsanevas, and Konstantinos D. Kokkotas, 1–27. Singapore: Springer Singapore, 2020. https://doi.org/10.1007/978-981-15-4702-7_47-1

  • Ntampaka, Michelle, Matthew Ho, and Brian Nord. “Building Trustworthy Machine Learning Models for Astronomy.” ArXiv Preprint ArXiv:2111.14566, November 2021. https://arxiv.org/abs/2111.14566

  • Huerta, E. A., Asad Khan, Edward Davis, Colleen Bushell, William D. Gropp, Daniel S. Katz, Volodymyr Kindratenko, et al. “Convergence of Artificial Intelligence and High Performance Computing on NSF-Supported Cyberinfrastructure.” Journal of Big Data 7, no. 1 (October 16, 2020): 88. https://doi.org/10.1186/s40537-020-00361-2

  • Allen, Gabrielle, Igor Andreoni, Etienne Bachelet, G. Bruce Berriman, Federica B. Bianco, Rahul Biswas, Matias Carrasco Kind, et al. “Deep Learning for Multi-Messenger Astrophysics: A Gateway for Discovery in the Big Data Era.” ArXiv Preprint ArXiv:1902.00522, 2019. https://arxiv.org/abs/1902.00522

  • Agrawal, Surbhi, Rahul Aedula, and D. S. Rahul Surya. “Machine Learning Based Analysis of Gravitational Waves.” In Modeling, Machine Learning and Astronomy, edited by Snehanshu Saha, Nithin Nagaraj, and Shikha Tripathi, 158–75. Singapore: Springer Singapore, 2020. https://link.springer.com/chapter/10.1007/978-981-33-6463-9_13

  • Smith, Rory. “OK Computer.” Nature Physics 18, no. 1 (January 1, 2022): 9–11. https://doi.org/10.1038/s41567-021-01436-4

  • Huerta, E. A., Roland Haas, Shantenu Jha, Mark Neubauer, and Daniel S. Katz. “Supporting High-Performance and High-Throughput Computing for Experimental Science.” Computing and Software for Big Science 3, no. 1 (February 8, 2019): 5. https://doi.org/10.1007/s41781-019-0022-7

  • Fluke, Christopher J., and Colin Jacobs. “Surveying the Reach and Maturity of Machine Learning and Artificial Intelligence in Astronomy.” WIREs Data Mining and Knowledge Discovery 10, no. 2 (March 1, 2020): e1349. https://doi.org/10.1002/widm.1349

  • Zdeborová, Lenka. “Understanding Deep Learning Is Also a Job for Physicists.” Nature Physics 16, no. 6 (June 1, 2020): 602–4.  https://doi.org/10.1038/s41567-020-0929-2

  • Dvorkin, Cora, Siddharth Mishra-Sharma, Brian Nord, V. Ashley Villar, Camille Avestruz, Keith Bechtol, Aleksandra Ćiprijanović, et al. “Machine Learning and Cosmology.” ArXiv:2203.08056 [Astro-Ph, Physics:Hep-Ph, Stat], March 15, 2022. http://arxiv.org/abs/2203.08056

  • Ishida E E O. Machine learning and the future of supernova cosmology[J]. Nature Astronomy, 2019, 3(8): 680-682.

for _ in range(num_of_audiences):
    print('Thank you for your attention! 🙏')
for _ in range(num_of_audiences):
    print('Thank you for your attention! 🙏')

This slide: https://slides.com/iphysresearch/ml_gwda_20221221

未来展望与总结

Smith R. Nature Physics, 2022

GW190707_093326

October 4, 2022 - January 3, 2023

September 22, 2021 - ​September 29, 2021

Motivation

  • It's necessary to speed up...
  • It has the potential to discover more...

From: LIGO-G2102497

Binary detection rates

  • O3 ~ 1/5 days
  • O4 ~ 1/2 days
  • O5 ~ 3 / day

Simulated Event Stream for a one year duration O4 run

  • The current Matched filtering technique is computationally expansive.
  • More GW events are coming...

Gravitation wave data analysis with machine learning

Phys.Rev.Lett 120 (2019) 14, 141103

机器学习在引力波数据处理中的应用

By He Wang

机器学习在引力波数据处理中的应用

东北大学引力波宇宙学与射电天文学研究中心青年学者研讨会 - 特邀报告 (2022.12.21)

  • 377

More from He Wang

  • Frontiers of AI in Gravitational Wave Astronomy: From Data Processing to Scientific Discovery
    He Wang
    18
  • Frontiers of AI in Gravitational Wave Astronomy
    He Wang
    31
  • 结营仪式与课程总结（后记）
    He Wang
    94
  • 空间引力波科学数据处理的挑战与人工智能技术应用 (16:9)
    He Wang
    88