2024年1月6日, 9:20-9:45

 2023年第五届全球京师青年学者论坛 · 天文学科分论坛 | 广东 · 珠海

空间引力波科学数据处理的挑战与人工智能技术应用

王赫

hewang@ucas.ac.cn

中国科学院大学 · 国际理论物理中心（亚太地区）

中国科学院大学 · 引力波宇宙太极实验室（北京/杭州）

On behalf of the LIGO-VIRGO-KAGRA collaborations

  • 空间引力波探测：全局拟合问题
  • 科学智能：引力波数据处理
  • 空间引力波探测科学数据处理：人工智能技术

目录

空间引力波探测计划

引力波天文学 & 引力波多信使天文学

  • 目前，国内外正在计划进行各种引力波探测项目，包括利用宇宙微波背景辐射的B模极化的CMB-S4、LiteBIRD、BICEP3/Keck Array、AliCPT；利用脉冲星定时阵列的NANOGrav、EPTA、PPTA、CPTA；利用空间引力波星间激光干涉仪的LISA、太极计划、天琴计划等；以及用于地面引力波干涉仪的ET、BBO。最近，NANOGrav、EPTA和CPTA共同宣布了存在纳赫兹级随机引力波背景的强有力证据。

Chinese Journal of Space Science,  2023, 43(4): 589-599.

LIGO-G2300554

Nat. Astron. 2021, 5(9): 881-889.

Text

空基引力波探测科学数据的分析与地基相比差距很大：

  • 大量的混叠波源 ( \(\neq\) 孤立事件)
  • 在不同时间尺度上观测到更大的波形周期 ( \(\neq\) 短时信号)
  • 信号主导的探测 ( \(\neq\) 噪声主导)
  • 依赖更复杂的技术评估噪声 ( \(\neq\) 定期获取无信号数据)

空间引力波观测频段内含有大量的波源和多种波源类型：

  • \(10^4\) 可探测的银河系内致密双星绕转 (UCB, VGB)
  • \(10\sim10^2\) 超大质量黑洞双星合并 (SMBH)
  • \(10\sim10^3\) 极端质量比黑洞双星绕转 (EMRI)
  • 恒星级质量黑洞双星的绕转 (SOBH)
  • 随机引力波背景 (SGWB)
  • 未建模的波源事件 (Burst...)

空间太极计划

  • 空间引力波探测主要有以下 4 类波源：

    • 恒星级质量的致密双星 (黑洞、中子星、白矮星以及它们的两两组合) 的旋近

    • 双白矮星的并合、​超大质量双黑洞的并合

    • 极端质量比旋进 (通常是一个恒星级致密天体绕着一个超大质量黑洞的旋进）

    • 宇宙中可能存在的中等质量双黑洞以及前面这些源的信号叠加形成的引力波背景

Credit: ESA, K. Holley-Bockelmann

Text

Text

空间引力波探测的典型波源与全局拟合问题

天琴计划

空间引力波探测获得的是什么样的 (科学) 数据？

  • 来自几十个激光干涉仪的分数频率偏差 (相对多普勒频移)
  • 预计天线重新定位 (9天) 和激光重新锁定 (几周) 会导致短时间 (＜小时) 的间隔，而类似LPF的意外长时间间隔 (∼天) 经常被考虑在内，总占空比约80-90%。 (日心轨道)
  • 主要受激光噪声的影响
  • 经过预处理后，得到3个时间延迟干涉 (TDI) 数据流 (X, Y, Z)
  • ...

其他重要的科学数据处理的技术挑战：

  • 随机噪声（Stochastic noise）

  • 仪器瞬变（glitches）

  • 频谱线（Spectral lines）

  • 数据间断（Data gaps）

  • 非平稳性（Non-stationarities）

Baghi et al., Phys. Rev. D (2019)

Text

Text

Analyses cannot treat sources independently and sequentially work through a list of candidate detections.

空间引力波探测的典型波源与全局拟合问题

Nat. Astron. 2022, 6(12): 1356-1363.

Nat. Astron. 2022, 6(12): 1334-1338.

背景与挑战

  • 空间引力波探测需识别尽可能多的引力波信号源
  • 数据中引力波信号相互混叠，影响波源参数反演
  • 单独识别单个源或某类特定源类型效率低下
  • 波源在任务生命周期内持续存在，增加识别难度
     

全局拟合方法 (Global-fit method)

  • 对所有源/噪声的参数同时做引力波信号全局搜索和波源参数反演
  • 随着更多数据的接收，不断更新全局搜索和参数反演的数据
     

实践应用步骤

  1. 全局搜索结合其他波源的数据分析流水线
  2. 在全局搜索后处理最新最佳拟合残差
  3. 识别到的源反馈至未来的全局搜索方案，以实现持续优化
     

局限性

  • 收敛速度慢
    • 受限于未知的波源数目
    • \(\mathcal{O}(10^5)\) 高维参数空间
    • 波形模板仿真等

全局拟合
Global-fit

Text

Text

Text

Text

Strub et al., PRD. arXiv:2307.03763

空间引力波探测的典型波源与全局拟合问题

研究现状

  • GLASS (The global LISA analysis software suite)
    • Modeling: noise, UCB, VGB, MBHB
    • Blind search
  • PyCBC-INFERENCE
    • MBHB
  • BILBY
    • MBHB
  • Strub et al. PRD 2023

    • UCB

    • GPU-based

  • Eryn
    • UCB

  • ...

空间引力波探测的典型波源与全局拟合问题

Text

Karnesis et al. 2303.02164.

Hoy & Nuttall. 2312.13039.

Weaving et al. CQG 41, (2023)

Littenberg & Cornish, Phys. Rev. D (2023)

技术痛点/局限性

  • 似然函数：计算耗时/先验知识依赖
  • 优化收敛：高频UCB迭代并行计算耗时
  • 高性能硬件：CPU+GPU异构并行计算
  • ...

Text

  • 空间引力波探测：全局拟合问题
  • 科学智能：引力波数据处理
  • 空间引力波探测科学数据处理：人工智能技术

目录

科学智能：AI for Science

  • 2016年，AlphaGo 第一版发表在了 Nature 杂志上

  • 2021年，AI预测蛋白质结构登上 Science、Nature 年度技术突破，潜力无穷

  • 2022年，DeepMind团队通过游戏训练AI发现矩阵乘法算法问题​

  • 《达摩院2022十大科技趋势》将 AI for Science 列为重要趋势

    • “人工智能成为科学家的新生产工具，催生科研新范式”

  • 2023年，DeepMind发布AI工具GNoME (Nature)，成功预测220万种晶体结构

  • AI for Science：为科学带来了模型与数据双驱动的新的研究范式

    • AI + 数学、AI + 化学、AI + 医药、AI + 量子、AI + 物理、AI + 天文 ...

AlphaGo 围棋机器人

AlphaTensor 发现矩阵算法

AlphaFold 蛋白质结构预测

验证数学猜想

基于 CNN 的开创性研究工作

  • 从计算机视觉 (CV) 到GW信号处理的最常见和直接的方法：像素点\(\Rightarrow\)采样点。

 

 

 

 

  • 卷积神经网络 (CNN) 可以用来搜寻双黑洞并合系统所产生的引力波信号

    • 灵敏度：与匹配滤波方法可比拟

    • 执行速度：远胜过匹配滤波方法 (有GPU加持)

Text

PRL, 2018, 120(14): 141103.

PRD, 2018, 97(4): 044039.

AI for Science \(\rightarrow\) AI for GW Astronomy


 

 

 

 

 




 

  • Artificial Intelligence (AI) has great potential to revolutionize gravitational wave astronomy by improving data analysis, modeling, and detector development.
  • Representation and supervised learning crucially extract features from GW signals, autonomously identifying informative features and leveraging labeled data for accuracy.

Exported: Oct, 2023 (in preparation)

Text

引力波数据处理：人工智能技术应用

引力波数据处理：人工智能技术应用

Matched-filtering Convolutional Neural Network (MFCNN)

Text

  • GW templates can be utilized as recognizable features for signal detection.
  • It is feasible to generalize both matched-filtering and neural networks.
  • Linear filters (i.e., matched-filtering) in signal processing can be reformulated as neural layers (i.e., CNNs).

MLGWSC-1

  • The majority of AI algorithms used for testing are highly sensitive to non-Gaussian real noise backgrounds, resulting in high false positive rates.

(MFCNN group) H.W., et al. PRD (2023)

Text

CL.M., W.W., H.W., et al. PRD (2022)

Ensemble learning

  • Leverages statistical approaches to utilize more information for making informed decisions by combining multiple models.

Real-time GW searches for GW150914

H.W., et al. PRD (2020)

Text

Expanding the dimension of the output

  • is to call more information to make decisions in improving AI models.

Text

CL.M., W.W., H.W., et al. PRD (2023)

目录

  • 空间引力波探测：全局拟合问题
  • 科学智能：引力波数据处理
  • 空间引力波探测科学数据处理：人工智能技术
    • EMRI
    • ​​​​​​​MBHB

空间引力波探测科学数据处理：人工智能技术

  • 极端质量比黑洞双星的绕旋 (EMRI) 是空间引力波探测的重要信号源。
  • 由于相对论效应的影响，波形复杂度极高，预期会观测到 \(10^4 \sim 10^5\) 周期。
  • 深度学习技术的应用：波形建模
    • 利用GPU加速EMRI波形的模式识别分析，为毫赫兹空间引力波数据分析提供了强大的计算工具和新的可能性，显著提升了数据处理的效率和精度

Text

\(h(\theta):=\sum_i \alpha_i(\theta) e_i \equiv \alpha(\theta) \text {, }\)

where \(\alpha\in\mathbb{C}^{241}\) and reduced basis \(\{e_i\}\) with \(\left\langle e_i \mid e_j\right\rangle=\delta_{i j}\).

深度学习算法的学习目标：

\((\mathcal{M}_c, \eta)\in\Theta\subset\mathbb{R}^2\)

\((\alpha_r, \alpha_i) \in\mathbb{R}^{482} \)

Neural
Network

AAK - FastEMRIWaveforms (FEW)

Katz et al., Phys. Rev. D (2021)

Chua et al., Phys. Rev. Lett., (2021)

 ~1s (快 ≳\(10^4\) 倍)

MNRAS 488, L94–L98 (2019)

EMRI 波形模板需求量 40 个数量级以上

Text

  • 极端质量比黑洞双星的绕旋 (EMRI) 是空间引力波探测的重要信号源。
  • 传统的匹配滤波方法需求巨量的高精度波形模板 (\(约10^{40}\)) ，计算上不切实际。
  • 深度学习技术的应用：信号探测
    • 通过基于人工智能模型的 EMRIs 波形的原理验证研究，能够在约 10 毫秒的时间内实现波形信号的有效探测。

张雪婷, C. Messenger, N. Korsakova,
ML Chan, 胡一鸣, 张建东, Phys. Rev. D (2022)

赵天宇, 周阅, 施锐俊, 曹周键, 任智祥, arXiv:2308.16422

恽倩芸, 韩文标, 郭意扬, 王赫, 杜明辉, arXiv:2309.06694

Text

Zhang et al.
PRD (2022)		 Zhao et al.
(2308.16422) 		Yun et al.
(2309.06694)
TDI - TDI-1.5 TDI-2.0
Duration 3 months 1 year 0.5 year
Waveform Family (train) AK AAK AAK
Waveform Family (test) AK / AAK AK / AAK AAK
GW Project TianQin LISA Taiji
Acceleration Noise [fm/sqrt(Hz)] 1 3 3
OMS Noise [pm/sqrt(Hz)] 1 15 8
Base Model CNN CNN CNN
Input Feature domain time frequency time-frequency
sampling rate 1/30 Hz 1/15 Hz 1/10 Hz

Text

空间引力波探测科学数据处理：人工智能技术

  • 极端质量比黑洞双星的绕旋 (EMRI) 是空间引力波探测的重要信号源。
  • 传统的匹配滤波方法需求巨量的高精度波形模板 (\(约10^{40}\)) ，计算上不切实际。
  • 深度学习技术的应用：信号探测/参数反演
    • 通过基于人工智能模型的 EMRIs 波形的原理验证研究，能够在约 10 毫秒的时间内实现波形信号的有效探测，以及对波源参数的反演。

Text

Yun et al.
(2311.18640)
TDI-2.0
0.5 year
AAK
AAK / EOB
Taiji
3
8
Unet / VGG
time-frequency
1/10 Hz
Zhang et al.
PRD (2022)		 Zhao et al.
(2308.16422) 		Yun et al.
(2309.06694)
TDI - TDI-1.5 TDI-2.0
Duration 3 months 1 year 0.5 year
Waveform Family (train) AK AAK AAK
Waveform Family (test) AK / AAK AK / AAK AAK
GW Project TianQin LISA Taiji
Acceleration Noise [fm/sqrt(Hz)] 1 3 3
OMS Noise [pm/sqrt(Hz)] 1 15 8
Base Model CNN CNN CNN
Input Feature domain time frequency time-frequency
sampling rate 1/30 Hz 1/15 Hz 1/10 Hz

空间引力波探测科学数据处理：人工智能技术

Text

  • 超大质量黑洞双星 (MBHB) 的并合是空间引力波可以探测到的最强瞬态信号源，对于低红移源，信噪比 (SNR) 可超过1000。
  • 预期质量范围是 \(10^4\sim10^7\) 太阳质量，可观测到晚期的双星绕旋、并合和振荡衰减阶段，事件率约为每年几个到几百个。
  • 深度学习技术的应用：信号探测
    • 通过基于人工智能模型的原理验证研究，可实现多种波源波形信号的实时探测。

赵天宇*, Ruoxi Lyu*, 王赫, 曹周键, 任智祥, Commun. Phys., (2023)

"One Model to Rule Them All"：EMRI / MBHB / GBs / SGWB 的信号提取

王赫, 吴仕超, 曹周键, 刘骁麟, 朱建阳,
Phys. Rev. D, (2020)

阮文洪*, 王赫*, 刘畅, 郭宗宽,
Phys. Lett. B, (2023)

LDC 一年数据上对 MBHB (+GBs) 信号的信号探测

Text

空间引力波探测科学数据处理：人工智能技术

Text

杜明辉*, 梁博*, 王赫†, 徐鹏, 罗子人, 吴岳良†, accepted by SCPMA, arXiv:2308.05510

  • 超大质量黑洞双星 (MBHB) 的并合是空间引力波可以探测到的最强瞬态信号源，对于低红移源，信噪比 (SNR) 可超过1000。
  • 预期质量范围是 \(10^4\sim10^7\) 太阳质量，可观测到晚期的双星绕旋、并合和振荡衰减阶段，事件率约为每年几个到几百个。
  • 深度学习技术的应用：参数反演
    • 人工智能算法可实现混叠 MBHB 信号的全波源参数反演，比传统估计后验分布算法的采样效率高 3 个数量级。

阮文洪, 王赫, 刘畅, 郭宗宽,
Universe (2023)

Text

亮点：

  • 可以实现完整参数维度的快速参数反演
  • 在AI推断结果中发现额外的多模态
  • 利用投影对称性解放模型的泛化性

空间引力波探测科学数据处理：人工智能技术

Text

Text

  • 超大质量黑洞双星 (MBHB) 的并合是空间引力波可以探测到的最强瞬态信号源，对于低红移源，信噪比 (SNR) 可超过1000。
  • 预期质量范围是 \(10^4\sim10^7\) 太阳质量，可观测到晚期的双星绕旋、并合和振荡衰减阶段，事件率约为每年几个到几百个。
  • 深度学习技术的应用：参数反演
    • 人工智能算法可实现混叠 MBHB 信号的全波源参数反演，比传统估计后验分布算法的采样效率高 3 个数量级。

Text

空间引力波探测科学数据处理：人工智能技术

归一化流模型示意图

亮点：

  • 可以实现完整参数维度的快速参数反演
  • 在AI推断结果中发现额外的多模态
  • 利用投影对称性解放模型的泛化性

Text

Text

空间引力波探测科学数据处理的技术难题

超高维度的波源参数空间特性 (编码波形)

  • 随着星座的轨道运动，引力波信号会随时间发生变化 (链路相关)。
  • 星座对特定波源的探测敏感性也会随时间而改变。
  • 我们如何在波形的模式识别中融入星座的轨道运动信息？

科学数据的动态性 (编码数据)

  • 面对科学数据的固有复杂性——尤其是数据的高维度——我们应如何应对？




 

 


 

计算资源的需求与利用 (CPU vs GPU)

  • 总 CPU 需求 (以 CPU 小时计)是 20-30M，其中每年需要进行3次迭代，每次迭代需要2个管道。
  • 用转换系数 10 来估计 GPU 的需求，可估算出所有波源类型的 GPU 卡需求可达 \(10^3\) 以上。

F(t) over 1 year

h(t) over 10 min

y(t) over 1 year

Credit: Maude Le Jeune (2021)

Text

Text

Text

2

Actually, there are more ...

  • 非模板引力波信号(背景)的探测与重构
  • ...

多类型的大量波源混叠问题

for _ in range(num_of_audiences):
    print('Thank you for your attention! 🙏')

This slide: https://slides.com/iphysresearch/2024jan_bnu

空间引力波探测科学数据处理的技术难题

超高维度的波源参数空间特性 (编码波形)

  • 随着星座的轨道运动，引力波信号会随时间发生变化 (链路相关)。
  • 星座对特定波源的探测敏感性也会随时间而改变。
  • 我们如何在波形的模式识别中融入星座的轨道运动信息？

科学数据的动态性 (编码数据)

  • 面对科学数据的固有复杂性——尤其是数据的高维度——我们应如何应对？




 

 


 

计算资源的需求与利用 (CPU vs GPU)

  • 总 CPU 需求 (以 CPU 小时计)是 20-30M，其中每年需要进行3次迭代，每次迭代需要2个管道。
  • 用转换系数 10 来估计 GPU 的需求，可估算出所有波源类型的 GPU 卡需求可达 \(10^3\) 以上。

F(t) over 1 year

h(t) over 10 min

y(t) over 1 year

Credit: Maude Le Jeune (2021)

Text

Text

Text

2

Actually, there are more ...

  • 非模板引力波信号(背景)的探测与重构
  • ...

多类型的大量波源混叠问题

目录

  • 空间引力波探测：全局拟合问题
  • 科学智能：引力波数据处理
  • 空间引力波探测科学数据处理：人工智能技术
  • AI for 科学发现：机遇与挑战 (bonus)
  • Bayesian inference, the Holy Grail of gravitational-wave data analysis,
    enables astrophysical interpretation and scientific discoveries.

Simulation-Based Inference (SBI)

  • SBI \(\Rightarrow\) Fast and precise parameter estimation.
  • SBI \(\Rightarrow\) Test of General Relativity (TGR) / Cosmology / PTA ...

AI Predicting the Universe: Opportunities and Challenges

Text

PRL 127, 24 (2021) 241103.

PRL 130, 17 (2023) 171403.

Real-time gravitational wave science with neural posterior estimation

Sampling with prior knowledge for high-dimensional gravitational wave data analysis

H.W., et al. Big Data Min. Anal. (2021)

PRD 108, 4 (2023): 044029.

Neural Posterior Estimation with Guaranteed Exact Coverage: The Ringdown of GW150914

arXiv:2310.12209

Fast Parameter Inference on Pulsar Timing Arrays with Normalizing Flows

arXiv:2310.13405, LIGO-P2300306

Cosmological Inference using Gravitational Waves and Normalising Flows

PRL 131, 17 (2023): 171403.

Angular Power Spectrum of Gravitational-Wave Transient Sources as a Probe of the Large-Scale Structure

AI Predicting the Universe: Opportunities and Challenges

  • Exploring the importance of understanding how AI models make predictions in scientific research.
    • The critical role of generative models (生成模型是关键)
    • Quantifying uncertainty: a key aspect (不确定性量化问题)
    • Fostering controllable and reliable models (模型的可控可信问题)

AI or Bayes

Text-to-image

"A running dog"
  • The most common and direct approach, from Artificial Intelligence Generated Content (AIGC) to GW statistical inference: pixel point \(\Rightarrow\) inferred parameter.

AI Predicting the Universe: Opportunities and Challenges

  • Exploring the importance of understanding how AI models make predictions in scientific research.
    • The critical role of generative models (生成模型是关键)
    • Quantifying uncertainty: a key aspect (不确定性量化问题)
    • Fostering controllable and reliable models (模型的可控可信问题)

AI or Bayes

Text-to-image

"A corgi running on the street"

A picture is worth a thousand words.

A fraction of a thousand words.

Credit: 李宏毅

"A running dog"
  • The most common and direct approach, from Artificial Intelligence Generated Content (AIGC) to GW statistical inference: pixel point \(\Rightarrow\) inferred parameter.

Key Takeaways

On-going

  • About Data: We are developing a software toolkit called GWToolkit that integrates gravitational wave signal processing and generic asynchronous data pipeline capabilities.
  • About Models: Let's continue to leverage representation learning and explore the use of GPT-like language models for scientific discovery.

Insights

  • AI is not just a tool; it is a revolutionary pathway for scientific discoveries.
  • The future is filled with technical challenges, even when it comes to using AI, including:
    • Super high-dimensional parameter inference
    • Super high-dimensional of GW data strains
  • "Gravitational Wave Astrostatistics" has the potential to become a new field of knowledge.
  • Improve the interpretability of AI models, as it is essential for enhanced and trustworthy discoveries.

Text

Text

Dynamic training samples in memory.

Nature Physics 18, 1 (2022): 9–11

Key Takeaways

On-going

  • About Data: We are developing a software toolkit called GWToolkit that integrates gravitational wave signal processing and generic asynchronous data pipeline capabilities.
  • About models: Let's continue to leverage representation learning and explore the use of GPT-like language models for scientific discovery.

Insights

  • AI is not just a tool; it is a revolutionary pathway for scientific discoveries.
  • The future is filled with technical challenges, even when it comes to using AI, including:
    • Super high-dimensional parameter inference
    • Super high-dimensional of GW data strains
  • "Gravitational Wave Astrostatistics" has the potential to become a new field of knowledge.
  • Improve the interpretability of AI models, as it is essential for enhanced and trustworthy discoveries.

Text

Text

Dynamic training samples in memory.

Nature Physics 18, 1 (2022): 9–11

for _ in range(num_of_audiences):
    print('Thank you for your attention! 🙏')

This slide: https://slides.com/iphysresearch/2024jan_bnu