答辩人：王赫

指导教师：曹周键教授

朱建阳教授

培养单位：北京师范大学物理系

Zoom: 955 052 61095

2020 年 6 月 4 日

引力波探测中关于深度学习数据分析的研究

1 研究背景介绍

3 匹配滤波-卷积神经网络

2 卷积神经网络的可解释性与性能研究

5 总结与展望

1. 研究背景介绍

LIGO Hanford (H1)

LIGO Livingston (L1)

KAGRA

引力波探测与引力波天文学

引力波探测与数据分析

引力波探测实验

引力波波源建模

引力波数据分析

引力波探测实验

引力波波源建模

引力波数据分析

GW150914

(LVT151012) $\rightarrow$

GW151012

GW170729

GW170809

GW170818

GW170823

GW170121

GW170304

GW170721

(GW151205)

GW190412

GW190425

...

GW Event Detections

GWTC1 (2019)

1-OGC (2019)

2-OGC (2020)

引力波探测与数据分析

引力波数据分析：机遇与挑战

反常非高斯 glitch 噪声

贫乏的 GW 波形模板库

低延迟、实时地数据处理

不充分的匹配滤波方法

A threshold is used on SNR value to build our templates bank with a maximum loss of 3% of its SNR.

\text{SNR}=2\left[\int_{0}^{\infty} \frac{|\widetilde{h}(f)|^{2}}{S_{n}(f)} d f\right]^{1 / 2}

Noise power spectral density

Matched filtering:

Optimal detection technique for templates, with Gaussian and stationary detector noise.

credits G. Guidi

反常非高斯 glitch 噪声

贫乏的 GW 波形模板库

低延迟、实时地数据处理

不充分的匹配滤波方法

The 4-D search parameter space in O1

covered by the template bank

to circular binaries for which the spin of the systems is aligned (or antialigned) with the orbital angular momentum of the binary.

~250,000 template waveforms are used.

Phys.Rev.X 6 (2016) 4, 041015

The template that best matches GW150914

引力波数据分析：机遇与挑战

反常非高斯 glitch 噪声

贫乏的 GW 波形模板库

低延迟、实时地数据处理

Class.Quant.Grav. 33 (2016) 13, 134001

How many "trash" events?

LIGO L1 and H1 triggers rates during O1

A 'blip' glitch

不充分的匹配滤波方法

引力波数据分析：机遇与挑战

不充分的匹配滤波方法

反常非高斯 glitch 噪声

贫乏的 GW 波形模板库

低延迟、实时地数据处理

A new era of multi-messenger astronomy

PoS FRAPWS2018 (2019) 013

GW170817: Very long inspiral "chirp" (>100s) firmly detected by the LIGO-Virgo network,

GRB 170817A: 1.74$\pm$0.05s later, weak short gamma-ray burst observed by Fermi (also detected by INTEGRAL)

First LIGO-Virgo alert 27 minutes later.

多信使天文学的新时代

引力波数据分析：机遇与挑战

反常非高斯 glitch 噪声

贫乏的 GW 波形模板库

低延迟、实时地数据处理

不充分的匹配滤波方法

自动在模板参数空间中提取特征 (内插泛化)

对新引力波波源类型的探测识别 (外插泛化)

高鲁棒性的噪声建模

算法的推断速度快 (<0.1ms)

Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012)

Phys.Rev.D 97 (2018) 4, 044039
- The first attempt
Phys.Rev.Lett 120 (2019) 14, 141103
- Matched-filtering vs CNN

...

Phys.Rev.D 100 (2019) 6, 063015
- GW events for BBH
Phys.Rev.D 101 (2020) 10, 104003
- All GW events in O1/O2

Why Deep Learning ?

Proof-of-principle studies

Production search studies

Milestones

引力波数据分析：机遇与挑战

2 卷积神经网络的可解释性

与性能研究

引力波探测与卷积神经网络 (CNN)

输入：时域信号

输出：Yes / No

研究问题：

虽然绝大多数研究者将深度神经网络视为一个黑箱的机器学习模型，而我们将尝试理解其算法内部到底是如何实现引力波信号探测的？

特征提取

分类器

输出：True / False

Stimulated waveforms
Stimulated noises

Preliminary model

研究问题：

虽然绝大多数研究者将深度神经网络视为一个黑箱的机器学习模型，而我们将尝试理解其算法内部到底是如何实现引力波信号探测的？

输入：时域信号

输出：True / False

特征提取

分类器

1. 对模型中间各层的高维数据特征进行降维可视化 (TSNE)，可以看到网络对引力波波形的可辨识能力逐层递增。

引力波探测与卷积神经网络 (CNN)

Stimulated waveforms
Stimulated noises

Preliminary model

研究问题：

深度神经网络作为一个黑箱的机器学习模型，其算法内部到底是如何实现引力波信号探测的？

Visualization for the high-dimensional feature maps of learned network in layers for bi-class using t-SNE.

More layers?

引力波探测与卷积神经网络 (CNN)

1. 对模型中间各层的高维数据特征进行降维可视化 (TSNE)，可以看到网络对引力波波形的可辨识能力逐层递增。

研究问题：

虽然绝大多数研究者将深度神经网络视为一个黑箱的机器学习模型，而我们将尝试理解其算法内部到底是如何实现引力波信号探测的？

特征提取

输入：时域信号

输出：True / False

分类器

2. 深层的高维数据特征可以很好的捕获到引力波波形特征，并且可以实现较好的滤波降噪效果。

\text{Noise} = 0

\text{Noise} > 0

引力波探测与卷积神经网络 (CNN)

Preliminary model

研究问题：

深度神经网络作为一个黑箱的机器学习模型，其算法内部到底是如何实现引力波信号探测的？

2. 深层的高维数据特征可以很好的捕获到引力波波形特征，并且可以实现较好的滤波降噪效果。

\text{SNR} = \infty

\text{SNR} = 1

\text{SNR} = 0

For complement:

\left[\begin{array}{llll} x_{0} & x_{1} & \cdots & x_{4} \end{array}\right] \cdot\left[\begin{array}{cccccccc} w_{0} & w_{1} & w_{2} & w_{3} & 0 & 0 & 0 & 0 \\ 0 & w_{0} & w_{1} & w_{2} & w_{3} & 0 & 0 & 0 \\ 0 & 0 & w_{0} & w_{1} & w_{2} & w_{3} & 0 & 0 \\ 0 & 0 & 0 & w_{0} & w_{1} & w_{2} & w_{3} & 0 \\ 0 & 0 & 0 & 0 & w_{0} & w_{1} & w_{2} & w_{3} \end{array}\right]=\mathbf{x} \cdot \mathbf{w}

Convolution:

引力波探测与卷积神经网络 (CNN)

研究问题：

虽然绝大多数研究者将深度神经网络视为一个黑箱的机器学习模型，而我们将尝试理解其算法内部到底是如何实现引力波信号探测的？

特征提取

输入：时域信号

输出：True / False

分类器

Occlusion Sensitivity

3. 网络对处在旋进后期和并合阶段的引力波波形的特征识别最敏感；输入时域数据的信号探测敏感度不均匀。

引力波探测与卷积神经网络 (CNN)

Preliminary model

研究问题：

深度神经网络作为一个黑箱的机器学习模型，其算法内部到底是如何实现引力波信号探测的？

3. 网络对处在并合和旋进后期阶段的引力波波形的特征提取最敏感；输入时域数据的信号探测敏感度不均匀。

25M_\odot+25M_\odot, \text{SNR}_\text{amp}=1

引力波探测与卷积神经网络 (CNN)

数据样例的遮罩实验结果

研究问题：

卷积神经网络结构 (超参数) 对引力波信号探测的性能有着怎样的影响？最佳性能网络结构的泛化能力如何？

引力波探测与卷积神经网络 (CNN)

Phys.Rev.Lett 120 (2019) 14, 141103
- Matched-filtering vs CNN

Phys.Rev.D 97 (2018) 4, 044039
- The first attempt

网络结构优化后的模型 (Improved model) 在低信噪比引力波数据上有着更佳的
- 内插泛化能力 ($e=0, a=0$)

研究问题：

卷积神经网络结构 (超参数) 对引力波信号探测的性能有着怎样的影响？最佳性能网络结构的泛化能力如何？

引力波探测与卷积神经网络 (CNN)

超参数调参的部分细节

研究问题：

卷积神经网络结构 (超参数) 对引力波信号探测的性能有着怎样的影响？最佳性能网络结构的泛化能力如何？

网络结构优化后的模型 (Improved model) 在低信噪比引力波数据上有着较佳的
- 内插泛化能力 ($e=0, s=0$)
- 外插泛化能力 ($e\neq 0, s\neq 0$)

Phys.Rev.Lett 120 (2019) 14, 141103
- Matched-filtering vs CNN

Phys.Rev.D 97 (2018) 4, 044039
- The first attempt

引力波探测与卷积神经网络 (CNN)

3 匹配滤波-卷积神经网络

Wang, H., Wu, S. C., Cao, Z. J., Liu, X. L., & Zhu, J. Y. (2020). Gravitational-wave signal recognition of LIGO data by deep learning. Physical Review D, 101(10), 104003.

匹配滤波-卷积神经网络 (MF-CNN)

Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012)

研究问题：

如何在真实的 LIGO 噪声背景下，探测到已确认的引力波事件？

相关研究：Phys.Rev.D 100 (2019) 6, 063015
- GW events for BBH
- A specific design of model

特征提取

分类器

Motivation：

Matched-filtering (cross-correlation with the templates) can be regarded as a convolutional layer with a set of predefined kernels.

Input

Output

匹配滤波-卷积神经网络 (MF-CNN)

Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012)

研究问题：

如何在真实的 LIGO 噪声背景下，探测到已确认的引力波事件？

相关研究：Phys.Rev.D 100 (2019) 6, 063015
- GW events for BBH
- A specific design of model

特征提取

分类器

Motivation：

Matched-filtering (cross-correlation with the templates) can be regarded as a convolutional layer with a set of predefined kernels.

Input

Output

Is it matched-filtering ?

匹配滤波-卷积神经网络 (MF-CNN)

频域表示的匹配滤波 $\rightarrow$ 时域表示的匹配滤波 $\rightarrow$ 深度学习框架下的卷积运算层结构

\left\{\begin{matrix} \bar{d}(t) = d(t) * \bar{S}_n(t) \\ \bar{h}(t) = h(t) * \bar{S}_n(t) \end{matrix}\right.

\bar{S_n}(t)=\int^{+\infty}_{-\infty}S_n^{-1/2}(f)e^{2\pi ift}df

\langle d|h \rangle (t) \sim \,\bar{d}(t)\ast\bar{h}(-t)

\langle h|h \rangle \sim [\bar{h}(t) \ast \bar{h}(-t)]|_{t=0}

\rho^2(t)\equiv\frac{1}{\langle h|h \rangle}|\langle d|h \rangle(t)|^2

\langle d|h \rangle (t) = 4\int^\infty_0\frac{\tilde{d}(f)\tilde{h}^*(f)}{S_n(f)}e^{2\pi ift}df

\langle h|h \rangle = 4\int^\infty_0\frac{\tilde{h}(f)\tilde{h}^*(f)}{S_n(f)}df

(matched-filtering)

(normalizing)

频域

时域

where

$S_n(|f|)$ is the one-sided average PSD of $d(t)$

The square of matched-filtering SNR for a given data $d(t) = n(t)+h(t)$:

(whitening)

where

Deep Learning

匹配滤波-卷积神经网络 (MF-CNN)

Matched-fitlering Convolutional Neural Network 模型结构图：

Input

Output

4 研究结果与意义

研究结果与意义

疑似信号的预警策略：
- 考虑 5 秒时长的输入数据，以 1 秒为间隔移动时间窗口在数据流上标记模型预测概率。
- 若给定某阈值后，在理想情况下，模型会在引力波信号处产生 5 次相邻的预警。

数据集合的准备：
- 35 个波形模板 ($q=1$)
- 1610 个模拟 BBH 波形作为训练和测试集合
- 取 O1 上真实的 LIGO 背景噪声

BNS

研究结果与意义

疑似信号的预警策略：
- 考虑 5 秒时长的输入数据，以 1 秒为间隔移动时间窗口在数据流上标记模型预测概率。
- 若给定某阈值后，在理想情况下，模型会在引力波信号处产生 5 次相邻的预警。

BNS

Input

数据集合的准备：
- 35 个波形模板 ($q=1$)
- 1610 个模拟 BBH 波形作为训练和测试集合
- 取 O1 上真实的 LIGO 背景噪声

研究结果与意义

模型性能的模拟测试
- ${取 p} = 0.5, C = 35$ ，
- (左) 在 $ρ_{o p t} = 6, 8, 10, 12$ 时，ROC 曲线；
- (右) $FAP = 0.1, 0.01, 0.001$ 时，关于 $ρ_{o p t}$ 的引力波信号识别效率。

MFCNN 模型的超参数微调
- ${(左) 在 ρ}_{o p t} = 10, T = 5$ 时，对于 $C = 3, 16, 35, 70, 350$ 的 ROC 曲线
- (右) 在 $ρ_{o p t} = 10, C = 35$ 时，对于 $T = 1, 5, 10$ 的 ROC 曲线

研究结果与意义

BNS

真实 LIGO 引力波数据上的搜寻结果：
- O1 ~ 2000+ 疑似信号
- 可以搜寻到 O1/O2 上 LIGO 所有已确认的 BBH 和 BNS 所对应的引力波事件。 (GWTC1)

研究结果与意义

Recovering all GW events in both O1 and O2

真实 LIGO 引力波数据上的搜寻结果：
- O1 ~ 2000+ 疑似信号
- 可以搜寻到 O1/O2 上 LIGO 所有已确认的 BBH 和 BNS 所对应的引力波事件。 (GWTC1)

研究结果与意义

Recovering all GW events in both O1 and O2

真实 LIGO 引力波数据上的搜寻结果：
- O1 ~ 2000+ 疑似信号
- 可以搜寻到 O1/O2 上 LIGO 所有已确认的 BBH 和 BNS 所对应的引力波事件。 (GWTC1)

研究结果与意义

真实 LIGO 引力波数据上的搜寻结果：
- O1 ~ 2000+ 疑似信号
- 可以搜寻到 O1/O2 上 LIGO 所有已确认的 BBH 和 BNS 所对应的引力波事件。 (GWTC1)
- 可以对 2-OGC 在 O2 上所报告的 BBH 引力波事件 (GW170121 / GW170304 / GW170727) 有明显的预警响应。(2-OGC)
- 对 O3 中 LIGO 已公开报告的 GW190412 引力波事件也有着明显的预警响应。(2004.08342)

研究结果与意义

真实 LIGO 引力波数据上的搜寻结果：
- O1 ~ 2000+ 疑似信号
- 可以搜寻到 O1/O2 上 LIGO 所有已确认的 BBH 和 BNS 所对应的引力波事件。 (GWTC1)
- 可以对 2-OGC 在 O2 上所报告的 BBH 引力波事件 (GW170121 / GW170304 / GW170727) 有明显的预警响应。(2-OGC)
- 对 O3 中 LIGO 已公开报告的 GW190412 引力波事件也有着明显的预警响应。(2004.08342)
疑似引力波信号的统计特性：
- 将纯背景噪声与疑似引力波信号的统计特征相互对比是很有意义的。
- 尽管 MFCNN 模型并不能提供直接反映噪声统计性的误报率，但是我们依然可以对比纯噪声和疑似信号之间的统计性差异。
- 可以看到疑似信号关于 p 的统计分布与 O1 背景噪声响应之间有着明显的差异，这意味着疑似信号在统计意义上与 O1 数据相比服从不同的统计规律。

研究结果与意义

Number of Adjacent prediction

a bump at 5 adjacent predictions

真实 LIGO 引力波数据上的搜寻结果：
- O1 ~ 2000+ 疑似信号
- 可以搜寻到 O1/O2 上 LIGO 所有已确认的 BBH 和 BNS 所对应的引力波事件。 (GWTC1)
- 可以对 2-OGC 在 O2 上所报告的 BBH 引力波事件 (GW170121 / GW170304 / GW170727) 有明显的预警响应。(2-OGC)
- 对 O3 中 LIGO 已公开报告的 GW190412 引力波事件也有着明显的预警响应。(2004.08342)
疑似引力波信号的统计特性：
- 将纯背景噪声与疑似引力波信号的统计特征相互对比是很有意义的。
- 尽管 MFCNN 模型并不能提供直接反映噪声统计性的误报率，但是我们依然可以对比纯噪声和疑似信号之间的统计性差异。
- 可以看到疑似信号关于 p 的统计分布与 O1 背景噪声响应之间有着明显的差异，这意味着疑似信号在统计意义上与 O1 数据相比服从不同的统计规律。
- O1 上每个 trigger 关于相邻预警数目的统计分布。

研究结果与意义

真实 LIGO 引力波数据上的搜寻结果：
- O1 ~ 2000+ 疑似信号
- 可以搜寻到 O1/O2 上 LIGO 所有已确认的 BBH 和 BNS 所对应的引力波事件。 (GWTC1)
- 可以对 2-OGC 在 O2 上所报告的 BBH 引力波事件 (GW170121 / GW170304 / GW170727) 有明显的预警响应。(2-OGC)
- 对 O3 中 LIGO 已公开报告的 GW190412 引力波事件也有着明显的预警响应。(2004.08342)

根据与 GravitySpy Dataset 的公开数据进行比对，MFCNN 模型对 glitches 噪声的筛查能力可以达到 $\sim90\%$。
而且，我们发现 MFCNN 模型对具有高频、长时和信噪比较高的 glitch 筛查能力要更好。

研究结果与意义

MFCNN 对 Peak freq 在 50~500Hz 之间的 Glitch 干扰最敏感，和训练集 BBH 的 merge freq 接近。

MFCNN 对较短的 Glitch 比较敏感

根据与 GravitySpy Dataset 的公开数据进行比对，MFCNN 模型对 glitches 噪声的筛查能力可以达到 $\sim90\%$。
而且，我们发现 MFCNN 模型对具有高频、长时和信噪比较高的 glitch 筛查能力要更好。

4 总结与展望

本人博士研究工作总结与展望

以下是本人攻读博士学位期间基于深度学习技术实现引力波信号探测和数据处理的几个工作：

基于神经网络算法在引力波信号探测和可解释性分析的初探研究；
在模拟 LIGO 噪声背景下，数据分布和卷积神经网络的模型结构对泛化的影响进行对比研究；
构造全新的算法模型 (MFCNN)，在真实 LIGO 引力波数据上，成功地搜寻到已确认的全部引力波事件以及其他关于泛化性能的研究。

上述的研究表明，基于数据驱动的机器学习算法可以非常高效地实现引力波信号探测，并且其可以成为非模板数据处理流水线的可替代方案，对搜寻理论预期之外的引力波信号有着重要意义。
未来可以用本文所提出的算法模型 (MFCNN) 部署到现行的地面引力波探测器 (KAGRA) 的数据分析流水线上，作为实时或低延迟的疑似引力波信号预警系统。

研究工作的不足与未来的研究计划：

基于机器学习的低误报率、高置信度的对各类波源产生的引力波信号探测；
通过对探测器的噪声建模，去除引力波数据中的高斯或非高斯噪声；
实现对引力波波源参数估计的高效算法；
针对 LISA-Taiji 空间引力波探测的数据处理任务

与本博士论文密切相关的学术论文：

攻读博士学位期间的研究成果

作者攻读学位期间发表的其他学术论文：

Li, X. B., Yan, S. W., Wang, H., & Zhu, J. Y. (2018). Warm inflation with a generalized Langevin equation scenario. arXiv preprint arXiv:1808.07679.
Li, X. B., Wang, Y. Y., Wang, H., & Zhu, J. Y. (2018). Dynamic analysis of noncanonical warm inflation. Physical Review D, 98(4), 043510. arXiv preprint arXiv:1804.05360.
Li, X. B., Wang, H., & Zhu, J. Y. (2018). Gravitational waves from warm inflation. Physical Review D, 97(6), 063516. arXiv preprint arXiv:1803.10074.

Wang, H., Wu, S. C., Cao, Z. J., Liu, X. L., & Zhu, J. Y. (2020). Gravitational-wave signal recognition of LIGO data by deep learning. Physical Review D, 101(10), 104003. arXiv preprint arXiv:1909.13442
Cao, Z. J., Wang, H., & Zhu, J. Y. (2018). Initial study on the application of deep learning to the Gravitational Wave data analysis. Journal of Henan Normal University(Natural Science Edition), 2:26-39.