2023年10月16日, 13:00-13:10

 2023年“第三届空间科学大会” · 空间引力波探测和精密测量与引力宇宙 | 浙江 · 德清

王赫

hewang@ucas.ac.cn

中国科学院大学 · 国际理论物理中心（亚太地区）

中国科学院大学 · 引力波宇宙太极实验室（北京/杭州）

2023年10月16日, 13:00-13:10

 2023年“第三届空间科学大会” · 空间引力波探测和精密测量与引力宇宙 | 浙江 · 德清

王赫

hewang@ucas.ac.cn

中国科学院大学 · 国际理论物理中心（亚太地区）

中国科学院大学 · 引力波宇宙太极实验室（北京/杭州）

Taiji

TianQin

引力波天文学 & 引力波多信使天文学

• 目前，国内外正在计划进行各种引力波探测项目，包括利用宇宙微波背景辐射的B模极化的CMB-S4、LiteBIRD、BICEP3/Keck Array、AliCPT；利用脉冲星定时阵列的NANOGrav、EPTA、PPTA、CPTA；利用空间引力波星间激光干涉仪的LISA、太极计划、天琴计划等；以及用于地面引力波干涉仪的ET、BBO。最近，NANOGrav、EPTA和CPTA共同宣布了存在纳赫兹级随机引力波背景的强有力证据。

Chinese Journal of Space Science,  2023, 43(4): 589-599.

LIGO-G2300554

空基引力波探测科学数据的分析与地基相比差距很大：

• 大量的混叠波源 ( \(\neq\) 孤立事件)
• 在不同的时间尺度上观测到更大的波形周期
• 信号主导的探测 ( \(\neq\) 噪声主导)
• 依赖更复杂的技术评估噪声 ( \(\neq\) 定期获取无信号数据)

空间引力波观测频段内含有大量的波源和多种波源类型：

• \(10^4\) 可探测的银河系内致密双星绕转 (UCB, VGB)
• \(10\sim10^2\) 超大质量黑洞双星合并 (SMBH)
• \(10\sim10^3\) 极端质量比黑洞双星绕转 (EMRI)
• 恒星级质量黑洞双星的绕转 (SOBH)
• 随机引力波背景 (SGWB)
• 未建模的波源事件 (Burst...)

空间太极计划

• 空间引力波探测主要有以下 4 类波源：

  • 恒星级质量的致密双星 (黑洞、中子星、白矮星以及它们的两两组合) 的旋近

  • 双白矮星的并合、​超大质量双黑洞的并合

  • 极端质量比旋进 (通常是一个恒星级致密天体绕着一个超大质量黑洞的旋进）

  • 宇宙中可能存在的中等质量双黑洞以及前面这些源的信号叠加形成的引力波背景

空间引力波探测获得的是什么样的 (科学) 数据？

• 来自几十个激光干涉仪的分数频率偏差 (相对多普勒频移)
• 预计天线重新定位 (9天) 和激光重新锁定 (几周) 会导致短时间 (＜小时) 的间隔，而类似LPF的意外长时间间隔 (∼天) 经常被考虑在内，总占空比约80-90%。 (日心轨道)
• 主要受激光噪声的影响
• 经过预处理后，得到3个时间延迟干涉 (TDI) 数据流 (X, Y, Z)
• ...

其他重要的科学数据处理的技术挑战：

• 随机噪声（Stochastic noise）

• 仪器瞬变（glitches）

• 频谱线（Spectral lines）

• 数据间断（Data gaps）

• 非平稳性（Non-stationarities）

• 空间引力波探测主要有以下 4 类波源：

  • 恒星级质量的致密双星 (黑洞、中子星、白矮星以及它们的两两组合) 的旋近

  • 双白矮星的并合、​超大质量双黑洞的并合

  • 极端质量比旋进 (通常是一个恒星级致密天体绕着一个超大质量黑洞的旋进）

  • 宇宙中可能存在的中等质量双黑洞以及前面这些源的信号叠加形成的引力波背景

• 预计天线重新定位（9天）和激光重新锁定（几周）会导致短时间（＜小时）的间隔，而类似LPF的意外长时间间隔（∼天）经常被考虑在内。总工作周期为80-90%。

• 时间序列中的间隔会导致在切换到傅里叶域时出现频谱泄漏，并在噪声矩阵中产生非对角线项。时间域中的窗函数可以减少频谱泄漏，但修补方法可以同时解决这两个问题。

• 可以使用附加参数在缺失部分绘制一些信号，然后在阻塞的Gibbs采样模式中迭代GW信号参数。

• 那些额外参数的数量取决于用于设置修复样本条件的邻近样本数量：取决于间隙大小，然后在准确性和计算时间之间进行权衡。
• 在填补间隙方面，对于GB、短暂的故障来说效果良好，尽管需要比GW源采样花费更多时间。Baghi等人，2019
• 对于MBHB而言，由于其瞬态特性，这是一个更具挑战性的任务，但如果有受保护的时间段，应该是可以的。Dey等人，2021。

两种问题：

1. 瞬态事件上的高幅度故障
2. 大量故障导致长时间分析受阻

这两个问题都由正在进行的 Spritz 数据挑战来解决，使用了来自 LPF 的故障模型。

两步去除

• 检测：假设已知形状和响应的匹配滤波器，或简单的低通滤波。
• 缓解：一旦检测到，可以考虑不同的方法，包括：
  • 遮罩 + 填充：独立于模型的方法，但可能会丢失重要的数据部分。
  • 减法（Davis 等人，2022 年在 LVK 上下文中）：需要完全理解与之
  • 联合拟合故障和GW信号参数（Hourihane等人，2022年）可以提供适当的误差传播，但同时需要增加要联合拟合的参数数量。

Baghi et al., Phys. Rev. D (2019)

背景与挑战

• 空间引力波探测需识别尽可能多的引力波信号源
• 数据中引力波信号相互混叠，影响波源参数反演
• 单独识别单个源或某类特定源类型效率低下
• 波源在任务生命周期内持续存在，增加识别难度
   

全局拟合方法 (Global-fit method)

• 对所有源的参数进行同时的引力波信号全局搜索和波源参数反演
• 随着更多数据的接收，不断更新全局搜索和参数反演的数据
   

实践应用步骤

1. 全局搜索结合其他波源的数据分析流水线
2. 在全局搜索后处理最新最佳拟合残差
3. 识别到的源反馈至未来的全局搜索方案，以实现持续优化
    

局限性

• 收敛速度慢
  • 受限于未知的波源数目
  • \(\mathcal{O}(10^5)\) 高维参数空间
  • 波形模板仿真等

全局拟合
Global-fit

• 极端质量比黑洞双星的绕旋 (EMRIs) 是空间引力波探测的重要信号源。
• 传统的匹配滤波方法需求巨量的高精度波形模板 (\(约10^{40}\)) ，计算上不切实际。
• 深度学习技术的应用：信号探测
  • 通过基于人工智能模型的 EMRIs 波形的原理验证研究，能够在约 10 毫秒的时间内实现波形信号的有效探测。

• 超大质量黑洞双星 (MBHB) 的并合是空间引力波可以探测到的最强瞬态信号源，对于低红移源，信噪比 (SNR) 可超过1000。
• 预期质量范围是 \(10^4\sim10^7\) 太阳质量，可观测到晚期的双星绕旋、并合和振荡衰减阶段，事件率约为每年几个到几百个。
• 深度学习技术的应用：信号探测
  • 通过基于人工智能模型的原理验证研究，可实现多种波源波形信号的实时探测。

赵天宇*, Ruoxi Lyu*, 王赫, 曹周键, 任智祥, Commun. Phys., (2023)

"One Model to Rule Them All"：EMRI / MBHB / GBs / SGWB 的信号提取

王赫, 吴仕超, 曹周键, 刘骁麟, 朱建阳,
Phys. Rev. D, (2020)

杜明辉*, 梁博*, 王赫†, 徐鹏, 罗子人, 吴岳良†, arXiv:2308.05510

• 超大质量黑洞双星 (MBHB) 的并合是空间引力波可以探测到的最强瞬态信号源，对于低红移源，信噪比 (SNR) 可超过1000。
• 预期质量范围是 \(10^4\sim10^7\) 太阳质量，可观测到晚期的双星绕旋、并合和振荡衰减阶段，事件率约为每年几个到几百个。
• 深度学习技术的应用：参数反演
  • 人工智能算法可实现混叠 MBHB 信号的全波源参数反演，比传统估计后验分布算法的采样效率高 3 个数量级。

阮文洪, 王赫, 刘畅, 郭宗宽,
Universe (2023)

More details for the next talk by 杜明辉

超高维度的波源参数空间特性 (编码波形)

• 随着星座的轨道运动，引力波信号会随时间发生变化 (链路相关)。
• 星座对特定波源的探测敏感性也会随时间而改变。
• 我们如何在波形的模式识别中融入星座的轨道运动信息？

科学数据的动态性 (编码数据)

• 面对科学数据的固有复杂性——尤其是数据的高维度——我们应如何应对？

计算资源的需求与利用（CPU vs GPU）

• 总 CPU 需求 (以 CPU 小时计)是 20-30M，其中每年需要进行3次迭代，每次迭代需要2个管道。
• 用转换系数 10 来估计 GPU 的需求，可估算出所有波源类型的 GPU 卡需求可达 \(10^3\) 以上。

Credit: Maude Le Jeune (2021)

Actually, there are more ...

• 非模板引力波信号的探测与重构
• ...

This slide: https://slides.com/iphysresearch/2023oct_ssa

1. 波形建模
   • 极端质量比黑洞双星的绕旋 (EMRIs) 是空间引力波探测的重要信号源
   • 传统的匹配滤波方法由于需要大量高精度波形模板而在计算上不切实际
   • 深度学习技术的应用:
     • 利用GPU加速EMRI波形的模式识别分析，为毫赫兹空间引力波数据分析提供了强大的计算工具和新的可能性，显著提升了数据处理的效率和精度

\(h(\theta):=\sum_i \alpha_i(\theta) e_i \equiv \alpha(\theta) \text {, }\)

where \(\alpha\in\mathbb{C}^{241}\) and reduced basis \(\{e_i\}\) with \(\left\langle e_i \mid e_j\right\rangle=\delta_{i j}\).

深度学习算法的学习目标

\((\mathcal{M}_c, \eta)\in\Theta\subset\mathbb{R}^2\)

\((\alpha_r, \alpha_i) \in\mathbb{R}^{482} \)

Neural
Network

1. 波形建模
2. 信号探测
   • EMRI
   •  

时长 1 年且含有信噪比 70的EMRI时域数据

• In 1916, A. Einstein proposed the GR and predicted the existence of GW.

• Gravitational waves (GW) are a strong field effect in the GR.

  • 2015: the first experimental detection of GW from the merger of two black holes was achieved.

  • 2017: the first multi-messenger detection of a BNS signal was achieved, marking the beginning of multi-messenger astronomy.

  • 2017: the Nobel Prize in Physics was awarded for the detection of GW.

  • As of now: more than 90 gravitational wave events have been discovered.

  • O4, which began on May 24th 2023, is currently in progress.

双星并合系统产生的引力波波源

引力波振幅的测量

地面引力波探测器网络

2017 年诺贝尔物理学奖

• AI for Science \(\rightarrow\) AI for GW
• Artificial Intelligence (AI) has great potential to revolutionize gravitational wave astronomy by improving data analysis, modeling, and detector development.

• GW Data characteristics:

  • ​Noise: non-Gaussian and non-stationary

  • Signal: A low signal-to-noise ratio (SNR) which is typically about 1/100 of the noise amplitude (-60 dB)

Data quality improvement

Credit: Marco Cavaglià 

LIGO-Virgo data processing

GW searches

Astrophsical interpretation of GW sources

CQG. 37 (2020) 055002

Matched-filtering Convolutional Neural Network (MFCNN)

• The majority of machine learning algorithms used for testing are highly sensitive to non-Gaussian real noise backgrounds, resulting in high false positive rates.

LIGO-Virgo data processing

• Ensemble learning leverages statistical approaches to utilize more information for making informed decisions by combining multiple models.

• Expanding the dimension of the output is to call more information to make decisions in improving AI models.

Bayesian statistics

• Traditional parameter estimation (PE) techniques rely on Bayesian analysis methods (posteriors + evidence)

• Computing the full 15-dimensional posterior distribution estimate is very time-consuming:
  • Calculating likelihood function
  • Template generation time-consuming
• Machine learning algorithms are expected to speed up! 

Data quality improvement

Credit: Marco Cavaglià 

LIGO-Virgo data processing

GW searches

Astrophsical interpretation of GW sources

CQG. 37 (2020) 055002

• A complete 15-dimensional posterior probability distribution, taking about 1 s (<< \(10^4\) s).

• Prior Sampling: 50,000 Posterior samples in approximately 8 Seconds.

• Capable of calculating evidence
• Processing time: (using 64 CPU cores)
  • less than 1 hour with IMRPhenomXPHM,
  • approximately 10 hours with SEOBNRv4PHM

• Billion-scale transformer-based model (WaveFormer)
  • Suppression on realistic noise, and
  • Recovery of injections / GW events

arXiv:2212.14283

DOI: 10.21203/rs.3.rs-2452860/v1

Data quality improvement

Credit: Marco Cavaglià 

LIGO-Virgo data processing

GW searches

Astrophsical interpretation of GW sources

CQG. 37 (2020) 055002

• Billion-scale transformer-based model (WaveFormer)
  • Suppression on realistic noise, and
  • Recovery of injections / GW events

arXiv:2212.14283

DOI: 10.21203/rs.3.rs-2452860/v1

LIGO-Virgo data processing

• Billion-scale transformer-based model (WaveFormer)
  • Suppression on realistic noise, and
  • Recovery of injections / GW events

arXiv:2212.14283

DOI: 10.21203/rs.3.rs-2452860/v1

LIGO-Virgo data processing

• 空间引力波探测主要有以下 4 类波源：

  • 恒星级质量的致密双星 (黑洞、中子星、白矮星以及它们的两两组合) 的旋近

  • 双白矮星的并合、​超大质量双黑洞的并合

  • 极端质量比旋进 (通常是一个恒星级致密天体绕着一个超大质量黑洞的旋进）

  • 宇宙中可能存在的中等质量双黑洞以及前面这些源的信号叠加形成的引力波背景

LIGO-G2300554

• Global-fit approach + AI-powered approach
  • Searches: Discriminative model
  • Inference: Generative model

PLB 841 (2023) 137904.

Communications Physics, 2023, 6(1): 212.

arXiv:2308.05510

Universe, 2023, 9(9): 407.

Nature Astronomy, 2022, 6(12): 1356-1363.

Nature Astronomy, 2022, 6(12): 1334-1338.

Schematic view of the global fit approach.

• AI serves as a valuable tool in gravitational wave astronomy:
  (Big data & Computational Complexity)
  • Enhancing data analysis,
  • Noise reduction, and
  • Parameter estimation.
  • It streamlines the research process and allows scientists to focus on the most relevant information.
• Beyond a Tool: AI transcends its role as a mere tool by enabling scientific discovery in GW astronomy.
  • Characterization of GW signals involves
    • Exploring beyond the scope of GR ,
    • Enabling real-time inference
  • "Curse of Dimensionality" in inference
    • Overlapping signal  (In progress)
    • Hierarchical Bayesian Analysis (In progress)
  • Test of GR
    • Tighter parameter constraints of variance
    • Guaranteed exact coverage
  • ...

PRD 101, 10 (2020) 104003.

(In preparation)

arXiv: 2211.01304

• AI serves as a valuable tool in gravitational wave astronomy:
  (Big data & Computational Complexity)
  • Enhancing data analysis,
  • Noise reduction, and
  • Parameter estimation.
  • It streamlines the research process and allows scientists to focus on the most relevant information.
• Beyond a Tool: AI transcends its role as a mere tool by enabling scientific discovery in GW astronomy.
  • Characterization of GW signals involves
    • Exploring beyond the scope of GR , 
    • Enabling real-time inference
  • "Curse of Dimensionality" in inference
    • Overlapping signal  (In progress)
    • Hierarchical Bayesian Analysis (In progress)
  • Test of GR
    • Tighter parameter constraints of variance
    • Guaranteed exact coverage
  • ...

arXiv:2305.18528

• AI serves as a valuable tool in gravitational wave astronomy:
  (Big data & Computational Complexity)
  • Enhancing data analysis,
  • Noise reduction, and
  • Parameter estimation.
  • It streamlines the research process and allows scientists to focus on the most relevant information.
• Beyond a Tool: AI transcends its role as a mere tool by enabling scientific discovery in GW astronomy.
  • Characterization of GW signals involves
    • Exploring beyond the scope of GR , 
    • Enabling real-time inference
  • "Curse of Dimensionality" in inference
    • Overlapping signal  (In progress)
    • Hierarchical Bayesian Analysis (In progress)
  • Test of GR
    • Tighter parameter constraints of variance
    • Guaranteed exact coverage
  • ...

ICML2023

• Using Large Language Models (LLMs) for scientific discovery.
• The need for a scientific infrastructure for AI in Science.

• 以国家天文科学数据中心在线服务平台为基础，开发适用于引力波天文学研究的引力波探测开源数据门户 (2023-2025)。

• 开发一套集成引力波数据处理与通用异步计算功能的软件工具包：GWToolkit

• Exploring the importance of understanding how AI models make predictions in scientific research.
  • The critical role of generative models (生成模型是关键)
  • Quantifying uncertainty: a key aspect (不确定性量化问题)
  • Fostering controllable and reliable models (模型的可控可信问题)

Bayes

AI

Credit: 李宏毅

Text-to-image

LIGO-P2300306

• Exploring the importance of understanding how AI models make predictions in scientific research.
  • The critical role of generative models (生成模型是关键)
  • Quantifying uncertainty: a key aspect (不确定性量化问题)
  • Fostering controllable and reliable models (模型的可控可信问题)

Bayes

AI

Credit: 李宏毅

Text-to-image

LIGO-P2300306

1. Gravitational-wave astronomy turns to AI:
   • A thriving and highly competitive research field on the international stage.
2. Is AI just a tool? Certainly not! It's a revolutionary pathway for scientific discoveries:
   • Enabling new discoveries and insights into the universe.
3. Addressing Challenges in AI for GW astronomy: essential for enhanced discoveries
   • LLM
   • Scientific infrastructure
   • Interpretability

This slide: https://slides.com/iphysresearch/2023ml_astromoy

Smith, Rory. Nature Physics 18, 1 (2022): 9–11

“国际理论物理中心(亚太地区)” 经联合国教科文组织第38届大会审议通过。由中国科学院、基金委和国际理论物理中心共同建设，是进行基础科学前沿与相关交叉科学领域高水平科研、教育和培训的非营利性组织，是联合国教科文组织基础科学方面的在国内的第一个二类中心。

• 值得关注的 AI 技术：
  • Large Language Model (LLM)
  • AI generated content (AIGC)

WaveFormer

Transformer: 750x / 2yrs

• 2016年，AlphaGo 第一版发表在了 Nature 杂志上

• 2021年，AI预测蛋白质结构登上 Science、Nature 年度技术突破，潜力无穷

• 2022年，DeepMind团队通过游戏训练AI发现矩阵乘法算法问题​

• 《达摩院2022十大科技趋势》将 AI for Science 列为重要趋势

  • “人工智能成为科学家的新生产工具，催生科研新范式”

• AI for Science：为科学带来了模型与数据双驱动的新的研究范式

  • AI + 数学、AI + 化学、AI + 医药、AI + 物理、AI + 天文 ...

AlphaGo 围棋机器人

AlphaTensor 发现矩阵算法

AlphaFold 蛋白质结构预测