2024年1月6日, 9:20-9:45

 2023年第五届全球京师青年学者论坛 · 天文学科分论坛 | 广东 · 珠海

王赫

hewang@ucas.ac.cn

中国科学院大学 · 国际理论物理中心（亚太地区）

中国科学院大学 · 引力波宇宙太极实验室（北京/杭州）

On behalf of the LIGO-VIRGO-KAGRA collaborations

• 空间引力波探测：全局拟合问题
• 科学智能：引力波数据处理
• 空间引力波探测科学数据处理：人工智能技术

引力波天文学 & 引力波多信使天文学

• 目前，国内外正在计划进行各种引力波探测项目，包括利用宇宙微波背景辐射的B模极化的CMB-S4、LiteBIRD、BICEP3/Keck Array、AliCPT；利用脉冲星定时阵列的NANOGrav、EPTA、PPTA、CPTA；利用空间引力波星间激光干涉仪的LISA、太极计划、天琴计划等；以及用于地面引力波干涉仪的ET、BBO。最近，NANOGrav、EPTA和CPTA共同宣布了存在纳赫兹级随机引力波背景的强有力证据。

Chinese Journal of Space Science,  2023, 43(4): 589-599.

LIGO-G2300554

空基引力波探测科学数据的分析与地基相比差距很大：

• 大量的混叠波源 ( \(\neq\) 孤立事件)
• 在不同时间尺度上观测到更大的波形周期 ( \(\neq\) 短时信号)
• 信号主导的探测 ( \(\neq\) 噪声主导)
• 依赖更复杂的技术评估噪声 ( \(\neq\) 定期获取无信号数据)

空间引力波观测频段内含有大量的波源和多种波源类型：

• \(10^4\) 可探测的银河系内致密双星绕转 (UCB, VGB)
• \(10\sim10^2\) 超大质量黑洞双星合并 (SMBH)
• \(10\sim10^3\) 极端质量比黑洞双星绕转 (EMRI)
• 恒星级质量黑洞双星的绕转 (SOBH)
• 随机引力波背景 (SGWB)
• 未建模的波源事件 (Burst...)

空间太极计划

• 空间引力波探测主要有以下 4 类波源：

  • 恒星级质量的致密双星 (黑洞、中子星、白矮星以及它们的两两组合) 的旋近

  • 双白矮星的并合、​超大质量双黑洞的并合

  • 极端质量比旋进 (通常是一个恒星级致密天体绕着一个超大质量黑洞的旋进）

  • 宇宙中可能存在的中等质量双黑洞以及前面这些源的信号叠加形成的引力波背景

天琴计划

空间引力波探测获得的是什么样的 (科学) 数据？

• 来自几十个激光干涉仪的分数频率偏差 (相对多普勒频移)
• 预计天线重新定位 (9天) 和激光重新锁定 (几周) 会导致短时间 (＜小时) 的间隔，而类似LPF的意外长时间间隔 (∼天) 经常被考虑在内，总占空比约80-90%。 (日心轨道)
• 主要受激光噪声的影响
• 经过预处理后，得到3个时间延迟干涉 (TDI) 数据流 (X, Y, Z)
• ...

其他重要的科学数据处理的技术挑战：

• 随机噪声（Stochastic noise）

• 仪器瞬变（glitches）

• 频谱线（Spectral lines）

• 数据间断（Data gaps）

• 非平稳性（Non-stationarities）

Baghi et al., Phys. Rev. D (2019)

Analyses cannot treat sources independently and sequentially work through a list of candidate detections.

背景与挑战

• 空间引力波探测需识别尽可能多的引力波信号源
• 数据中引力波信号相互混叠，影响波源参数反演
• 单独识别单个源或某类特定源类型效率低下
• 波源在任务生命周期内持续存在，增加识别难度
   

全局拟合方法 (Global-fit method)

• 对所有源/噪声的参数同时做引力波信号全局搜索和波源参数反演
• 随着更多数据的接收，不断更新全局搜索和参数反演的数据
   

实践应用步骤

1. 全局搜索结合其他波源的数据分析流水线
2. 在全局搜索后处理最新最佳拟合残差
3. 识别到的源反馈至未来的全局搜索方案，以实现持续优化
    

局限性

• 收敛速度慢
  • 受限于未知的波源数目
  • \(\mathcal{O}(10^5)\) 高维参数空间
  • 波形模板仿真等

全局拟合
Global-fit

研究现状

• GLASS (The global LISA analysis software suite)
  • Modeling: noise, UCB, VGB, MBHB
  • Blind search
• PyCBC-INFERENCE
  • MBHB
• BILBY
  • MBHB
• Strub et al. PRD 2023

  • UCB

  • GPU-based

• Eryn
  • UCB

• ...

技术痛点/局限性

• 似然函数：计算耗时/先验知识依赖
• 优化收敛：高频UCB迭代并行计算耗时
• 高性能硬件：CPU+GPU异构并行计算
• ...

• 空间引力波探测：全局拟合问题
• 科学智能：引力波数据处理
• 空间引力波探测科学数据处理：人工智能技术

• 2016年，AlphaGo 第一版发表在了 Nature 杂志上

• 2021年，AI预测蛋白质结构登上 Science、Nature 年度技术突破，潜力无穷

• 2022年，DeepMind团队通过游戏训练AI发现矩阵乘法算法问题​

• 《达摩院2022十大科技趋势》将 AI for Science 列为重要趋势

  • “人工智能成为科学家的新生产工具，催生科研新范式”

• 2023年，DeepMind发布AI工具GNoME (Nature)，成功预测220万种晶体结构

• AI for Science：为科学带来了模型与数据双驱动的新的研究范式

  • AI + 数学、AI + 化学、AI + 医药、AI + 量子、AI + 物理、AI + 天文 ...

AI for Science \(\rightarrow\) AI for GW Astronomy


 

• Artificial Intelligence (AI) has great potential to revolutionize gravitational wave astronomy by improving data analysis, modeling, and detector development.
• Representation and supervised learning crucially extract features from GW signals, autonomously identifying informative features and leveraging labeled data for accuracy.

Matched-filtering Convolutional Neural Network (MFCNN)

• GW templates can be utilized as recognizable features for signal detection.
• It is feasible to generalize both matched-filtering and neural networks.
• Linear filters (i.e., matched-filtering) in signal processing can be reformulated as neural layers (i.e., CNNs).

MLGWSC-1

• The majority of AI algorithms used for testing are highly sensitive to non-Gaussian real noise backgrounds, resulting in high false positive rates.

CL.M., W.W., H.W., et al. PRD (2022)

Ensemble learning

• Leverages statistical approaches to utilize more information for making informed decisions by combining multiple models.

Expanding the dimension of the output

• is to call more information to make decisions in improving AI models.

• 空间引力波探测：全局拟合问题
• 科学智能：引力波数据处理
• 空间引力波探测科学数据处理：人工智能技术
  • EMRI
  • ​​​​​​​MBHB

• 极端质量比黑洞双星的绕旋 (EMRI) 是空间引力波探测的重要信号源。
• 传统的匹配滤波方法需求巨量的高精度波形模板 (\(约10^{40}\)) ，计算上不切实际。
• 深度学习技术的应用：信号探测
  • 通过基于人工智能模型的 EMRIs 波形的原理验证研究，能够在约 10 毫秒的时间内实现波形信号的有效探测。

• 极端质量比黑洞双星的绕旋 (EMRI) 是空间引力波探测的重要信号源。
• 传统的匹配滤波方法需求巨量的高精度波形模板 (\(约10^{40}\)) ，计算上不切实际。
• 深度学习技术的应用：信号探测/参数反演
  • 通过基于人工智能模型的 EMRIs 波形的原理验证研究，能够在约 10 毫秒的时间内实现波形信号的有效探测，以及对波源参数的反演。

• 超大质量黑洞双星 (MBHB) 的并合是空间引力波可以探测到的最强瞬态信号源，对于低红移源，信噪比 (SNR) 可超过1000。
• 预期质量范围是 \(10^4\sim10^7\) 太阳质量，可观测到晚期的双星绕旋、并合和振荡衰减阶段，事件率约为每年几个到几百个。
• 深度学习技术的应用：信号探测
  • 通过基于人工智能模型的原理验证研究，可实现多种波源波形信号的实时探测。

赵天宇*, Ruoxi Lyu*, 王赫, 曹周键, 任智祥, Commun. Phys., (2023)

"One Model to Rule Them All"：EMRI / MBHB / GBs / SGWB 的信号提取

王赫, 吴仕超, 曹周键, 刘骁麟, 朱建阳,
Phys. Rev. D, (2020)

杜明辉*, 梁博*, 王赫†, 徐鹏, 罗子人, 吴岳良†, accepted by SCPMA, arXiv:2308.05510

• 超大质量黑洞双星 (MBHB) 的并合是空间引力波可以探测到的最强瞬态信号源，对于低红移源，信噪比 (SNR) 可超过1000。
• 预期质量范围是 \(10^4\sim10^7\) 太阳质量，可观测到晚期的双星绕旋、并合和振荡衰减阶段，事件率约为每年几个到几百个。
• 深度学习技术的应用：参数反演
  • 人工智能算法可实现混叠 MBHB 信号的全波源参数反演，比传统估计后验分布算法的采样效率高 3 个数量级。

阮文洪, 王赫, 刘畅, 郭宗宽,
Universe (2023)

亮点：

• 可以实现完整参数维度的快速参数反演
• 在AI推断结果中发现额外的多模态
• 利用投影对称性解放模型的泛化性

• 超大质量黑洞双星 (MBHB) 的并合是空间引力波可以探测到的最强瞬态信号源，对于低红移源，信噪比 (SNR) 可超过1000。
• 预期质量范围是 \(10^4\sim10^7\) 太阳质量，可观测到晚期的双星绕旋、并合和振荡衰减阶段，事件率约为每年几个到几百个。
• 深度学习技术的应用：参数反演
  • 人工智能算法可实现混叠 MBHB 信号的全波源参数反演，比传统估计后验分布算法的采样效率高 3 个数量级。

归一化流模型示意图

亮点：

• 可以实现完整参数维度的快速参数反演
• 在AI推断结果中发现额外的多模态
• 利用投影对称性解放模型的泛化性

超高维度的波源参数空间特性 (编码波形)

• 随着星座的轨道运动，引力波信号会随时间发生变化 (链路相关)。
• 星座对特定波源的探测敏感性也会随时间而改变。
• 我们如何在波形的模式识别中融入星座的轨道运动信息？

科学数据的动态性 (编码数据)

• 面对科学数据的固有复杂性——尤其是数据的高维度——我们应如何应对？

计算资源的需求与利用 (CPU vs GPU)

• 总 CPU 需求 (以 CPU 小时计)是 20-30M，其中每年需要进行3次迭代，每次迭代需要2个管道。
• 用转换系数 10 来估计 GPU 的需求，可估算出所有波源类型的 GPU 卡需求可达 \(10^3\) 以上。

Credit: Maude Le Jeune (2021)

Actually, there are more ...

• 非模板引力波信号(背景)的探测与重构
• ...

This slide: https://slides.com/iphysresearch/2024jan_bnu

1. 波形建模
   • 极端质量比黑洞双星的绕旋 (EMRIs) 是空间引力波探测的重要信号源
   • 传统的匹配滤波方法由于需要大量高精度波形模板而在计算上不切实际
   • 深度学习技术的应用:
     • 利用GPU加速EMRI波形的模式识别分析，为毫赫兹空间引力波数据分析提供了强大的计算工具和新的可能性，显著提升了数据处理的效率和精度

\(h(\theta):=\sum_i \alpha_i(\theta) e_i \equiv \alpha(\theta) \text {, }\)

where \(\alpha\in\mathbb{C}^{241}\) and reduced basis \(\{e_i\}\) with \(\left\langle e_i \mid e_j\right\rangle=\delta_{i j}\).

深度学习算法的学习目标

\((\mathcal{M}_c, \eta)\in\Theta\subset\mathbb{R}^2\)

\((\alpha_r, \alpha_i) \in\mathbb{R}^{482} \)

Neural
Network

1. 波形建模
2. 信号探测
   • EMRI
   •  

时长 1 年且含有信噪比 70的EMRI时域数据

• 空间引力波探测：全局拟合问题
• 科学智能：引力波数据处理
• 空间引力波探测科学数据处理：人工智能技术

• AI for 科学发现：机遇与挑战 (bonus)

• Bayesian inference, the Holy Grail of gravitational-wave data analysis,
  enables astrophysical interpretation and scientific discoveries.

Simulation-Based Inference (SBI)

• SBI \(\Rightarrow\) Fast and precise parameter estimation.
• SBI \(\Rightarrow\) Test of General Relativity (TGR) / Cosmology / PTA ...

PRL 127, 24 (2021) 241103.

PRL 130, 17 (2023) 171403.

Real-time gravitational wave science with neural posterior estimation

Sampling with prior knowledge for high-dimensional gravitational wave data analysis

H.W., et al. Big Data Min. Anal. (2021)

arXiv:2310.12209

Fast Parameter Inference on Pulsar Timing Arrays with Normalizing Flows

• Exploring the importance of understanding how AI models make predictions in scientific research.
  • The critical role of generative models (生成模型是关键)
  • Quantifying uncertainty: a key aspect (不确定性量化问题)
  • Fostering controllable and reliable models (模型的可控可信问题)

"A running dog"

• The most common and direct approach, from Artificial Intelligence Generated Content (AIGC) to GW statistical inference: pixel point \(\Rightarrow\) inferred parameter.

• Exploring the importance of understanding how AI models make predictions in scientific research.
  • The critical role of generative models (生成模型是关键)
  • Quantifying uncertainty: a key aspect (不确定性量化问题)
  • Fostering controllable and reliable models (模型的可控可信问题)

"A corgi running on the street"

A picture is worth a thousand words.

A fraction of a thousand words.

Credit: 李宏毅

"A running dog"

• The most common and direct approach, from Artificial Intelligence Generated Content (AIGC) to GW statistical inference: pixel point \(\Rightarrow\) inferred parameter.

This slide: https://slides.com/iphysresearch/2024jan_bnu

• In 1916, A. Einstein proposed the GR and predicted the existence of GW.

• Gravitational waves (GW) are a strong field effect in the GR.

  • 2015: the first experimental detection of GW from the merger of two black holes was achieved.

  • 2017: the first multi-messenger detection of a BNS signal was achieved, marking the beginning of multi-messenger astronomy.

  • 2017: the Nobel Prize in Physics was awarded for the detection of GW.

  • As of now: more than 90 gravitational wave events have been discovered.

  • O4, which began on May 24th 2023, is currently in progress.

双星并合系统产生的引力波波源

引力波振幅的测量

地面引力波探测器网络

2017 年诺贝尔物理学奖

• AI for Science \(\rightarrow\) AI for GW
• Artificial Intelligence (AI) has great potential to revolutionize gravitational wave astronomy by improving data analysis, modeling, and detector development.

• GW Data characteristics:

  • ​Noise: non-Gaussian and non-stationary

  • Signal: A low signal-to-noise ratio (SNR) which is typically about 1/100 of the noise amplitude (-60 dB)

Data quality improvement

Credit: Marco Cavaglià 

LIGO-Virgo data processing

GW searches

Astrophsical interpretation of GW sources

CQG. 37 (2020) 055002

Matched-filtering Convolutional Neural Network (MFCNN)

• The majority of machine learning algorithms used for testing are highly sensitive to non-Gaussian real noise backgrounds, resulting in high false positive rates.

LIGO-Virgo data processing

• Ensemble learning leverages statistical approaches to utilize more information for making informed decisions by combining multiple models.

• Expanding the dimension of the output is to call more information to make decisions in improving AI models.

Bayesian statistics

• Traditional parameter estimation (PE) techniques rely on Bayesian analysis methods (posteriors + evidence)

• Computing the full 15-dimensional posterior distribution estimate is very time-consuming:
  • Calculating likelihood function
  • Template generation time-consuming
• Machine learning algorithms are expected to speed up! 

Data quality improvement

Credit: Marco Cavaglià 

LIGO-Virgo data processing

GW searches

Astrophsical interpretation of GW sources

CQG. 37 (2020) 055002

• A complete 15-dimensional posterior probability distribution, taking about 1 s (<< \(10^4\) s).

• Prior Sampling: 50,000 Posterior samples in approximately 8 Seconds.

• Capable of calculating evidence
• Processing time: (using 64 CPU cores)
  • less than 1 hour with IMRPhenomXPHM,
  • approximately 10 hours with SEOBNRv4PHM

• Billion-scale transformer-based model (WaveFormer)
  • Suppression on realistic noise, and
  • Recovery of injections / GW events

arXiv:2212.14283

DOI: 10.21203/rs.3.rs-2452860/v1

Data quality improvement

Credit: Marco Cavaglià 

LIGO-Virgo data processing

GW searches

Astrophsical interpretation of GW sources

CQG. 37 (2020) 055002

• Billion-scale transformer-based model (WaveFormer)
  • Suppression on realistic noise, and
  • Recovery of injections / GW events

arXiv:2212.14283

DOI: 10.21203/rs.3.rs-2452860/v1

LIGO-Virgo data processing

• Billion-scale transformer-based model (WaveFormer)
  • Suppression on realistic noise, and
  • Recovery of injections / GW events

arXiv:2212.14283

DOI: 10.21203/rs.3.rs-2452860/v1

LIGO-Virgo data processing

• 空间引力波探测主要有以下 4 类波源：

  • 恒星级质量的致密双星 (黑洞、中子星、白矮星以及它们的两两组合) 的旋近

  • 双白矮星的并合、​超大质量双黑洞的并合

  • 极端质量比旋进 (通常是一个恒星级致密天体绕着一个超大质量黑洞的旋进）

  • 宇宙中可能存在的中等质量双黑洞以及前面这些源的信号叠加形成的引力波背景

LIGO-G2300554

• Global-fit approach + AI-powered approach
  • Searches: Discriminative model
  • Inference: Generative model

PLB 841 (2023) 137904.

Communications Physics, 2023, 6(1): 212.

arXiv:2308.05510

Universe, 2023, 9(9): 407.

Nature Astronomy, 2022, 6(12): 1356-1363.

Nature Astronomy, 2022, 6(12): 1334-1338.

Schematic view of the global fit approach.

• AI serves as a valuable tool in gravitational wave astronomy:
  (Big data & Computational Complexity)
  • Enhancing data analysis,
  • Noise reduction, and
  • Parameter estimation.
  • It streamlines the research process and allows scientists to focus on the most relevant information.
• Beyond a Tool: AI transcends its role as a mere tool by enabling scientific discovery in GW astronomy.
  • Characterization of GW signals involves
    • Exploring beyond the scope of GR ,
    • Enabling real-time inference
  • "Curse of Dimensionality" in inference
    • Overlapping signal  (In progress)
    • Hierarchical Bayesian Analysis (In progress)
  • Test of GR
    • Tighter parameter constraints of variance
    • Guaranteed exact coverage
  • ...

PRD 101, 10 (2020) 104003.

(In preparation)

arXiv: 2211.01304

• AI serves as a valuable tool in gravitational wave astronomy:
  (Big data & Computational Complexity)
  • Enhancing data analysis,
  • Noise reduction, and
  • Parameter estimation.
  • It streamlines the research process and allows scientists to focus on the most relevant information.
• Beyond a Tool: AI transcends its role as a mere tool by enabling scientific discovery in GW astronomy.
  • Characterization of GW signals involves
    • Exploring beyond the scope of GR , 
    • Enabling real-time inference
  • "Curse of Dimensionality" in inference
    • Overlapping signal  (In progress)
    • Hierarchical Bayesian Analysis (In progress)
  • Test of GR
    • Tighter parameter constraints of variance
    • Guaranteed exact coverage
  • ...

arXiv:2305.18528

• AI serves as a valuable tool in gravitational wave astronomy:
  (Big data & Computational Complexity)
  • Enhancing data analysis,
  • Noise reduction, and
  • Parameter estimation.
  • It streamlines the research process and allows scientists to focus on the most relevant information.
• Beyond a Tool: AI transcends its role as a mere tool by enabling scientific discovery in GW astronomy.
  • Characterization of GW signals involves
    • Exploring beyond the scope of GR , 
    • Enabling real-time inference
  • "Curse of Dimensionality" in inference
    • Overlapping signal  (In progress)
    • Hierarchical Bayesian Analysis (In progress)
  • Test of GR
    • Tighter parameter constraints of variance
    • Guaranteed exact coverage
  • ...

ICML2023

• Using Large Language Models (LLMs) for scientific discovery.
• The need for a scientific infrastructure for AI in Science.

• 以国家天文科学数据中心在线服务平台为基础，开发适用于引力波天文学研究的引力波探测开源数据门户 (2023-2025)。

• 开发一套集成引力波数据处理与通用异步计算功能的软件工具包：GWToolkit

• Exploring the importance of understanding how AI models make predictions in scientific research.
  • The critical role of generative models (生成模型是关键)
  • Quantifying uncertainty: a key aspect (不确定性量化问题)
  • Fostering controllable and reliable models (模型的可控可信问题)

Bayes

AI

Credit: 李宏毅

Text-to-image

LIGO-P2300306

• Exploring the importance of understanding how AI models make predictions in scientific research.
  • The critical role of generative models (生成模型是关键)
  • Quantifying uncertainty: a key aspect (不确定性量化问题)
  • Fostering controllable and reliable models (模型的可控可信问题)

Bayes

AI

Credit: 李宏毅

Text-to-image

LIGO-P2300306

1. Gravitational-wave astronomy turns to AI:
   • A thriving and highly competitive research field on the international stage.
2. Is AI just a tool? Certainly not! It's a revolutionary pathway for scientific discoveries:
   • Enabling new discoveries and insights into the universe.
3. Addressing Challenges in AI for GW astronomy: essential for enhanced discoveries
   • LLM
   • Scientific infrastructure
   • Interpretability

This slide: https://slides.com/iphysresearch/2023ml_astromoy

Smith, Rory. Nature Physics 18, 1 (2022): 9–11

“国际理论物理中心(亚太地区)” 经联合国教科文组织第38届大会审议通过。由中国科学院、基金委和国际理论物理中心共同建设，是进行基础科学前沿与相关交叉科学领域高水平科研、教育和培训的非营利性组织，是联合国教科文组织基础科学方面的在国内的第一个二类中心。

• 值得关注的 AI 技术：
  • Large Language Model (LLM)
  • AI generated content (AIGC)

WaveFormer

Transformer: 750x / 2yrs

• 2016年，AlphaGo 第一版发表在了 Nature 杂志上

• 2021年，AI预测蛋白质结构登上 Science、Nature 年度技术突破，潜力无穷

• 2022年，DeepMind团队通过游戏训练AI发现矩阵乘法算法问题​

• 《达摩院2022十大科技趋势》将 AI for Science 列为重要趋势

  • “人工智能成为科学家的新生产工具，催生科研新范式”

• AI for Science：为科学带来了模型与数据双驱动的新的研究范式

  • AI + 数学、AI + 化学、AI + 医药、AI + 物理、AI + 天文 ...

AlphaGo 围棋机器人

AlphaTensor 发现矩阵算法

AlphaFold 蛋白质结构预测