He Wang PRO
Knowledge increases by sharing but not by saving.
2022.10.31 上午 10:00 | 腾讯会议:864-297-353
Machine Learning in Gravitational Wave Data Analysis
王赫
hewang@ucas.ac.cn
国际理论物理中心(亚太地区)
(40-45min)
Gravitational wave astronomy
爱因斯坦于1916年提出广义相对论,并预言了引力波的存在
引力波是广义相对论中的一种强场效应
2015年:首次实验探测到双黑洞并合引力波
2017年:首个双中子星多信使探测,开启多信使天文学时代
2017年:引力波探测成果被授予诺贝尔物理学奖
至今:发现了超过 90 个引力波事件
未来:
2023-2024年:第四次引力波探测阶段,有希望探测更多不同类型的引力波事件
空间引力波探测计划
双星并合系统产生的引力波波源
引力波振幅的测量
地面引力波探测器网络
2017 年诺贝尔物理学奖
引力波探测打开了探索宇宙的新窗口
不同波源,频率跨越 20 个数量级,不同探测器
致密双星并合产生引力波 (IMR: BBH, BHNS; IM: BNS)
超新星爆发/伽马射线暴等产生引力波 (Burst: CCSNe, GRBs)
孤立中子星等产生连续引力波 (CW)
随机引力波背景 (SGWB)
引力波暂现源星表 (GWTC-3)
DOI:10.1063/1.1629411
引力波暂现源星表 (GWTC-3)
DOI:10.1063/1.1629411
首次探测双黑洞并合引力波事件 GW150914
Gravitational wave data analysis
匹配滤波方法
高斯且稳态噪声环境下,提取弱信号的最优算法
假设:引力波观测数据 = 高斯稳态噪声 + 某引力波信号
\(d(t) = n(t) + h(t)\)
匹配滤波信噪比 (SNR) \(\rho(t)\):
其中
噪声的(单边)功率谱密度 (PSD): \(S_n(f)\) 。
信号处理角度的理解:
若某一段时域数据流作为输入,探测统计量 (即匹配滤波信噪比) 是另一段输出的时序数据流,问怎样的线性滤波器可以使得输出结果最大?
Frequentist / Bayesian 角度的理解: 略
脉冲响应函数:
线性滤波器
输入序列
输出序列
匹配滤波方法
高斯且稳态噪声环境下,提取弱信号的最优算法
假设:引力波观测数据 = 高斯稳态噪声 + 某引力波信号
\(d(t) = n(t) + h(t)\)
匹配滤波信噪比 (SNR) \(\rho(t)\):
其中
噪声的(单边)功率谱密度 (PSD): \(S_n(f)\) 。
信号处理角度的理解:
若某一段时域数据流作为输入,探测统计量 (即匹配滤波信噪比) 是另一段输出的时序数据流,问怎样的线性滤波器可以使得输出结果最大?
Frequentist / Bayesian 角度的理解: 略
真实引力波数据的非高斯性
引力波科学数据的特点
噪声特点:非高斯 + 非稳态
信号特点:信噪比低 (约噪声幅度的1/100)
O1 观测运行时用的波形模板库
引力波科学数据的特点
噪声特点:非高斯 + 非稳态
信号特点:信噪比低 (约噪声幅度的1/100)
在 GW170817 事件后 1.74\(\pm\)0.05s 的伽玛暴 GRB 170817A
From: LIGO-G2102497
Binary detection rates
Simulated Event Stream for a one year duration O4 run
真实引力波数据的非稳态性
O1 观测运行时用的波形模板库
累积观测时间下发现的引力波事件数目
GW150914 的数据预处理
引力波数据:噪声 + 信号
噪声特点:非高斯 + 非稳态
信号特点:信噪比低(噪声幅度的1/100)
https://spaceaustralia.com/news/cosmic-lighthouses-and-continuous-gravitational-waves
Different types of gravitational-wave sources. Credit: Shanika Galaudage.
Machine Learning & Deep learning
2016年,AlphaGo 第一版发表在了 Nature 杂志上
2021年,AI预测蛋白质结构登上 Science、Nature 年度技术突破,潜力无穷
2022年,DeepMind团队通过游戏训练AI发现矩阵乘法算法问题
《达摩院2022十大科技趋势》将 AI for Science 列为重要趋势
“人工智能成为科学家的新生产工具,催生科研新范式”
AI for Science:为科学带来了模型与数据双驱动的新的研究范式
AI + 数学、AI + 化学、AI + 医药、AI + 物理、AI + 天文 ...
AlphaGo 围棋机器人
AlphaTensor 发现矩阵算法
AlphaFold 蛋白质结构预测
传统机器学习
深度学习
输入
特征提取
输入
特征
传统机器学习算法
输出
输入
自动特征提取 + 分类
输出
机器学习:
线性回归模型、决策树模型、支撑向量机、马尔科夫链-蒙特卡洛方法 (MCMC) ...
深度学习:
用神经网络实现自动特征提取的模型
深度神经网络是一个万能的函数拟合器,可以表征任意复杂度的非线性函数映射
特点:端到端、数据驱动、过参数化 ...
传统引力波数据分析方法 ~ 传统机器学习方法
人工智能 > 机器学习 > 深度学习
人工智能
机器学习
深度学习
人工智能的一个分支。机器学习是用数据或以往的经验,以此优化计算机程序的性能标准
机器学习的一个分支。基于神经网络结构实现端到端的一种建模方法
任何能实现以人类智能相似的方式做出反应的技术
基于机器学习技术的引力波数据分析方向成为新研究热点
一些重要的综述文章:
Huerta, E. A., et al. “Enabling Real-Time Multi-Messenger Astrophysics Discoveries with Deep Learning.” Nature Reviews Physics 1, no. 10 (October 1, 2019): 600–608.
Cuoco, Elena, et al. “Enhancing Gravitational-Wave Science with Machine Learning.” Machine Learning: Science and Technology 2, no. 1 (December 4, 2020): 011002.
Cuoco, Elena, et al. “Computational Challenges for Multimodal Astrophysics.” Nature Computational Science 2, no. 8 (August 1, 2022): 479–85.
深度学习技术应用在引力波科学数据处理流程各个环节 (分类问题 and/or 回归问题)
数据质量提升:非高斯短时脉冲噪声的抑制 (deglitch)
波形建模:快速生成理论精确模版
信号搜寻:快速准确识别引力波信号
波源参数反演:快速准确的后验概率分布估计
Data quality improvement
Credit: Marco Cavaglià
LIGO-Virgo 数据处理流程
GW waveform modeling
GW searches
Astrophsical interpretation of GW sources
Gravitational-wave astronomy turns to AI
LIGO-Virgo 数据处理流程
四种不同的引力波波源,每一种都是不同的挑战,数据分析方法也不同
CBC:匹配滤波。计算消耗大,对波形模板精度要求高
Busrt:如何探测一个非模板的信号,要依赖探测器之间的相关性
CW:探测难度大,需要同时处理海量数据,计算消耗惊人
SGWB:搜寻需要依靠互相关性
深度卷积神经网络模型可以用来搜寻双黑洞并合系统所产生的引力波
输入是白化后的时序数据
噪声特点是高斯模拟噪声
灵敏度:与匹配滤波方法可比拟
执行速度:远胜过匹配滤波方法 (有GPU加持)
Convolutional Neural Network (ConvNet or CNN)
GW150914
GW151012
GW151226
Convolutional Neural Network (ConvNet or CNN)
GPS 时间轴
Matched-filtering Convolutional Neural Network (MFCNN)
GW150914
GW151012
GW151226
MFCNN
MFCNN
MFCNN
Wang H, Wu SC, Cao ZJ, Liu XL, PRD 2020
GW170817
GW190412
GW190814
GW150914 的实时信号搜寻
GWTC-1/2 的参数空间分布
GPS 时间轴
Wei W, Khan A, Huerta E A, et al. PLB, 2021
Wang H, Wu SC, Cao ZJ, Liu XL, PRD 2020
Álvares João D, et al. CQG 2021
Menéndez-Vázquez A, et al. PRD 2021
Gebhard T D, Kilbertus N, Harry I, et al. PRD 2019
GWTC-1 & 34/37 in GWTC-2
8/11 in GWTC-1
All BBHs in GWTC-1
All CBCs in GWTC-1
GWTC-1 & GW190412, GW190521
Menéndez-Vázquez A, et al. PRD 2021
Softmax 函数
网络模型的输出
p-value
noise
noise + signal
p-value
hist
Huerta E A, Khan A, Huang X, et al. Nature Astronomy, 2021
Ma CL, Wang W, Wang H, Cao ZJ. PRD 2022
Gravitational-wave astronomy turns to AI
LIGO-Virgo 数据处理流程
传统的参数估计技术依赖于贝叶斯分析方法 (posteriors + evidence)
面向 CBC,LIGO-Virgo 参数估计软件:
Bilby / LALInference / PyCBC Inference / RIFT
耗时对比
一个样例:15 维参数的后验概率分布
归一化流模型示意图
Wang H, Cao Z, et al. Big Data Mining and Analytics, 2021
Gravitational-wave astronomy turns to AI
LIGO-Virgo 数据处理流程
数据质量的提升是一个非常复杂的问题,超过 20 万个传感器通道的数据会决定引力波科学数据通道的质量
降低引力波数据中非高斯的短时脉冲波干扰 (Glitch),会有助于减少引力波信号误报率
引力波探测数据中去除 Glitch,是一个多分类问题
1400Ripples Air Compressor Blip
Extremely Loud Helix Koi Fish
部分 Glitch 的样例
真实引力波数据的非高斯性
Ormiston R, et al. PRR, 2020
Chatterjee C, Wen L, et al. PRD 2021
Wei W and Huerta E A. PLB 2020
Preliminary
Murali C and Lumley D. arXiv: 2210.01718
Bacon P. et al. arXiv: 2205.13513
GW170823
Gravitational-wave astronomy turns to AI
LIGO-Virgo 数据处理流程
Liao CH, Lin FL. PRD 2021
引力波探测中的匹配滤波方法需要高精度的波形模板
主流的波形模板理论
数值方法: 数值相对论
解析方法: 有效单体近似、唯象方法、数值相对论surrogate
原理验证研究
输入波源参数 \(\rightarrow\) 输出IMR波形
输入旋进阶段波形 \(\rightarrow\) 输出MR波形
目标:快速准确的参数估计
Lee J, et al. PRD 2021
Schmidt S. et al. PRD 2021
Khan A, Huerta EA, Zheng H. PRD 2022
数值相对论
97% 匹配度,建模速度快 10-100 倍
生成 99% 匹配度的 1500 波形耗时 \(\mathcal{O}(1)\) 秒
PCA+ANN: 实现从初始参数\((q, s_1, s_2)\)到球谐模式的映射
The future challenges of AI for multi-messenger astronomy
恒星级质量的致密双星 (黑洞、中子星、白矮星以及它们的两两组合) 的旋近
双白矮星的并合、超大质量双黑洞的并合
极端质量比旋进 (通常是一个恒星级致密天体绕着一个超大质量黑洞的旋进)
宇宙中可能存在的中等质量双黑洞以及前面这些源的信号叠加形成的引力波背景
Credit: ESA, K. Holley-Bockelmann
空间太极计划
欧航局 LISA 计划
Chua AJK, Galley CR, Vallisneri M. PRL 2019
Chua AJK, et al. PRL 2021
Chua AJK and Vallisneri M. PRL 2021
~1s (快 ≳\(10^4\) 倍)
Ruan WH, Wang H, Liu C, Guo ZK. arXiv:2111.14546
Zhao TY, Lyu R, Ren ZX, Wang H, Cao ZJ. arXiv: 2207.07414
Zhang XT, Messenger C. et al. PRD 2022
Zhang XH.et al. arXiv: 2206.12083
Smith R. Nature Physics 2022
GW190707_093326
October 4, 2022 - January 3, 2023
September 22, 2021 - September 29, 2021
Huerta, E. A., and Zhizhen Zhao. “Advances in Machine and Deep Learning for Modeling and Real-Time Detection of Multi-Messenger Sources.” In Handbook of Gravitational Wave Astronomy, edited by Cosimo Bambi, Stavros Katsanevas, and Konstantinos D. Kokkotas, 1–27. Singapore: Springer Singapore, 2020. https://doi.org/10.1007/978-981-15-4702-7_47-1
Ntampaka, Michelle, Matthew Ho, and Brian Nord. “Building Trustworthy Machine Learning Models for Astronomy.” ArXiv Preprint ArXiv:2111.14566, November 2021. https://arxiv.org/abs/2111.14566
Huerta, E. A., Asad Khan, Edward Davis, Colleen Bushell, William D. Gropp, Daniel S. Katz, Volodymyr Kindratenko, et al. “Convergence of Artificial Intelligence and High Performance Computing on NSF-Supported Cyberinfrastructure.” Journal of Big Data 7, no. 1 (October 16, 2020): 88. https://doi.org/10.1186/s40537-020-00361-2
Allen, Gabrielle, Igor Andreoni, Etienne Bachelet, G. Bruce Berriman, Federica B. Bianco, Rahul Biswas, Matias Carrasco Kind, et al. “Deep Learning for Multi-Messenger Astrophysics: A Gateway for Discovery in the Big Data Era.” ArXiv Preprint ArXiv:1902.00522, 2019. https://arxiv.org/abs/1902.00522
Agrawal, Surbhi, Rahul Aedula, and D. S. Rahul Surya. “Machine Learning Based Analysis of Gravitational Waves.” In Modeling, Machine Learning and Astronomy, edited by Snehanshu Saha, Nithin Nagaraj, and Shikha Tripathi, 158–75. Singapore: Springer Singapore, 2020. https://link.springer.com/chapter/10.1007/978-981-33-6463-9_13
Smith, Rory. “OK Computer.” Nature Physics 18, no. 1 (January 1, 2022): 9–11. https://doi.org/10.1038/s41567-021-01436-4
Huerta, E. A., Roland Haas, Shantenu Jha, Mark Neubauer, and Daniel S. Katz. “Supporting High-Performance and High-Throughput Computing for Experimental Science.” Computing and Software for Big Science 3, no. 1 (February 8, 2019): 5. https://doi.org/10.1007/s41781-019-0022-7
Fluke, Christopher J., and Colin Jacobs. “Surveying the Reach and Maturity of Machine Learning and Artificial Intelligence in Astronomy.” WIREs Data Mining and Knowledge Discovery 10, no. 2 (March 1, 2020): e1349. https://doi.org/10.1002/widm.1349
Zdeborová, Lenka. “Understanding Deep Learning Is Also a Job for Physicists.” Nature Physics 16, no. 6 (June 1, 2020): 602–4. https://doi.org/10.1038/s41567-020-0929-2
Dvorkin, Cora, Siddharth Mishra-Sharma, Brian Nord, V. Ashley Villar, Camille Avestruz, Keith Bechtol, Aleksandra Ćiprijanović, et al. “Machine Learning and Cosmology.” ArXiv:2203.08056 [Astro-Ph, Physics:Hep-Ph, Stat], March 15, 2022. http://arxiv.org/abs/2203.08056
Ishida E E O. Machine learning and the future of supernova cosmology[J]. Nature Astronomy, 2019, 3(8): 680-682.
for _ in range(num_of_audiences):
print('Thank you for your attention! 🙏')
This slide: https://slides.com/iphysresearch/gr23_domestic
for _ in range(num_of_audiences):
print('Thank you for your attention! 🙏')
This slide: https://slides.com/iphysresearch/ml_gwda
Smith R. Nature Physics, 2022
GW190707_093326
October 4, 2022 - January 3, 2023
September 22, 2021 - September 29, 2021
From: LIGO-G2102497
Binary detection rates
Simulated Event Stream for a one year duration O4 run
Gravitation wave data analysis with machine learning
By He Wang