引力透镜黑洞发射层析成像

Aviad Levis1∗,Pratul P. Srinivasan2∗,Andrew A. Chael3†,Ren Ng4,Katherine L. Bouman1198410引力透镜黑洞发射层析成像01 加州理工学院 2 谷歌研究 3 普林斯顿大学 4 加州大学伯克利分校0摘要0事件视界望远镜的测量使得首次能够可视化黑洞周围的光发射。到目前为止，这些测量已经被用于在获取期间假设发射场是静态的情况下恢复2D图像。在这项工作中，我们提出了一种新的层析成像方法BH-NeRF，利用引力透镜效应恢复黑洞附近连续的3D发射场。与其他3D重建或层析成像设置相比，这个任务面临两个重要的挑战：首先，黑洞附近的光线遵循广义相对论规定的曲线路径，其次，我们只从一个视点观测到测量。我们的方法使用基于坐标的神经网络来捕捉未知的发射场，并利用开普勒轨道动力学的知识建立3D点随时间的对应关系。这些使得BH-NeRF能够在测量稀疏和轨道动力学不确定的挑战性情况下恢复准确的3D发射场。这项工作首次展示了未来事件视界望远镜的测量如何用于恢复银河系中超大质量黑洞周围不断变化的3D发射。01. 引言0事件视界望远镜（EHT）最近首次捕获到黑洞的图像，为黑洞研究开启了一个新时代[42]。我们现在能够成像黑洞周围的直接环境，并在事件视界的尺度上解析图像特征。这种前所未有的分辨率是通过将全球的射电望远镜连接起来同步观测天体源[1, 5,11]来实现的，这种技术被称为非常长基线干涉测量[43]。虽然黑洞本身不可见，但它在周围热气体的发射上留下了印记或“阴影”，这就是EHT的目标。EHT能够成像的两个候选黑洞是M87�和Sagittarius A�（SgrA�）。第一个黑洞0�  作者对本文贡献相同。†NASA哈勃奖学金计划，爱因斯坦奖学金。0图1.我们提出了一种新的层析成像方法，用于恢复黑洞周围轨道上的耀斑的发射分布，通过从单一视点随时间捕获的观测来实现。这是通过利用黑洞周围的预期物理学实现的：引力透镜效应和由开普勒轨道动力学建模的发射流。在这个例子中，观测是模拟的望远镜测量，对2D图像随时间的傅里叶分量施加了一组稀疏的约束（顶行）；图像形成模型考虑了由于引力透镜效应而曲线的光线轨迹。观测投影平面的方向用绿色表示。我们的方法BH-NeRF从稀疏的望远镜测量中恢复出底层的3D发射表示。0M87�的图像[42]是通过在整个夜晚收集的测量结果构建的，其基本假设是其发射在获取过程中保持静态。相比之下，我们银河系中的黑洞SgrA�更加动态，并且每天会出现多次强烈的发射耀斑[19]。这些耀斑的一个可能解释是围绕黑洞轨道上的紧凑明亮发射点[8]，被称为“热点”。在这项工作中，我们提出了一种新的层析成像问题的方法，用于重建这些动态事件（图1）。与以前的工作[4, 23,27]侧重于恢复2D图像平面动态不同，我们的198420本工作恢复了基础的动态3D发射分布（即4D时空体积）。然而，在这种设置中，重建体发射面临两个显著的挑战。第一个挑战是到达EHT望远镜的光线不沿着规则采样空间的直线行进。相反，由于黑洞周围的强引力场，光线会沿着弯曲的路径行进。这种效应是由广义相对论（GR）预测的，被称为“引力透镜效应”，因为大质量物体（如黑洞）会像透镜一样弯曲光线。第二个挑战是EHT只从一个固定的视点观测，而不是像其他层析成像设置中那样进行多视角观测。在本文中，我们介绍了一种新颖的层析成像方法，利用黑洞周围的预期物理特性，从单个观测方向恢复时变的体发射。特别地，我们提出了一种有希望的解决方案，BH-NeRF，它使用基于坐标的神经网络将3D发射表示为连续函数，并利用我们对开普勒轨道动力学的知识来关联时间上的3D发射点。我们的方法建立在最近对辐射场的神经表示的进展之上，并将其推广到考虑弯曲光线轨迹的情况。我们的实验展示了在恢复黑洞周围的3D动态方面的有希望的初步步骤，这是天文学研究在未来十年的重要任务[36]。02. 相关工作0层析成像层析成像旨在从较低维度的投影测量中恢复介质的密度。在医学成像中，X射线计算机层析成像（CT）[25]被广泛用于诊断，使用来自不同方向的2D投影来恢复3D体积。这些CT方法是一种成熟的技术，部分原因是简单的光子-介质相互作用导致光线直线通过介质[20]。在许多科学领域中，复杂的相互作用导致非直线的光线路径（例如散射、折射、透镜效应）和非线性的测量模型，使得层析成像成为一个主要的研究问题。在地球科学中，使用散射光进行大气层析成像会产生断裂的光线路径和非线性的测量[28-30]。在地震学中，成像地球内部涉及到折射和沿曲线轨迹的传播[18]。对于光学成像，介质的可变折射率也会引起类似的效应[3,46]。在天体物理学中，高密度区域周围引起的光线弯曲被用来限制暗物质的3D结构[22]。类似地，黑洞附近的强引力场使光线路径弯曲（参见图3）。0在黑洞成像的背景下，Tiede等人的工作[44]展示了使用蒙特卡洛采样恢复与轨道热点相关的少量参数。虽然受限于参数化模型，但他们的工作展示了从2D投影中恢复3D信息的潜力。我们的工作与[44]本质上不同，因为它不限于简单的参数化形式。相反，我们的目标是恢复连续的未知3D体积。0基于坐标的神经表示最近在计算机视觉和图形学中，一种趋势是用连续的“基于坐标”的神经表示[13, 33,37]来替代传统的离散几何表示，如三角网格和体素网格。这种方法使用多层感知器（MLP）将连续的3D场参数化，将输入的3D坐标映射到该位置的场景内容的表示[34]。使用神经表示来渲染场景的未观察视角是由神经辐射场（NeRF）[34]推广的，它可以输出场景中任意连续3D点的体积密度和视角相关辐射。我们的工作与将NeRF扩展到动态场景[17,32, 38, 39,45]有关。在动态设置中，一个关键的挑战是将时间上的3D点关联起来，以便通过对规范化的3D表示进行变形来表示场景。之前的方法使用变形稀疏性和刚性的先验[38,45]，预训练的单目深度估计[32]，或者人脸和身体的显式模型[17,39]来关联时间上的3D点。在我们的工作中，我们利用开普勒轨道动力学的知识来模拟黑洞周围的动态演化。我们借鉴了基于坐标的神经表示在其他科学成像领域的成功，如冷冻电子显微镜[47]和X射线断层扫描[41]，并将其用于表示黑洞周围的不断演化的3D发射，如下面的章节所述。03.图像和测量形成模型0在本节中，我们讨论我们的“正向模型”的三个组成部分，该模型将 EHT观测到的测量结果建模为黑洞周围发射的函数：1）描述随时间演化的发射动力学，2）描述沿弯曲光线积分形成二维图像的引力透镜光线追踪，以及3）描述 EHT测量与这些图像的关系的测量模型。03.1. 发射动力学0我们将发射 e ( t, x ) 表示为时间 t 和 3D 坐标 x = ( x, y, z )的连续函数。黑洞周围的发射可以是来自吸积盘的流入等离子体或来自喷流的流出等离子体的结果。在这里，我们假设发射源位于赤道面上。AB6nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE1GPRi8eK9gPaUDbSbt0swm7G7GE/gQvHhTx6i/y5r9x2+agrQ8GHu/NMDMvSATXxnW/ncLK6tr6RnGztLW9s7tX3j9o6jhVDBsFrFqB1Sj4BIbhhuB7UQhjQKBrWB0M/Vbj6g0j+WDGSfoR3QgecgZNVa67z7xXrniVt0ZyDLxclKBHPVe+avbj1kaoTRMUK07npsYP6PKcCZwUuqmGhPKRnSAHUsljVD72ezUCTmxSp+EsbIlDZmpvycyGmk9jgLbGVEz1IveVPzP6QmvPIzLpPUoGTzRWEqiInJ9G/S5wqZEWNLKFPc3krYkCrKjE2nZEPwFl9eJs2zqndRPb87r9Su8ziKcATHcAoeXEINbqEODWAwgGd4hTdHOC/Ou/Mxby04+cwh/IHz+QNe043eAB6nicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE1GPRi8eK9gPaUDbSbt0swm7G7GE/gQvHhTx6i/y5r9x2+agrQ8GHu/NMDMvSATXxnW/ncLK6tr6RnGztLW9s7tX3j9o6jhVDBsFrFqB1Sj4BIbhuB7UQhjQKBrWB0M/Vbj6g0j+WDGSfoR3QgecgZNVa67z7xXrniVt0ZyDLxclKBHPVe+avbj1kaoTRMUK07npsYP6PKcCZwUuqmGhPKRnSAHUsljVD72ezUCTmxSp+EsbIlDZmpvycyGmk9jgLbGVEz1IveVPzP6QmvPIzLpPUoGTzRWEqiInJ9G/S5wqZEWNLKFPc3krYkCrKjE2nZEPwFl9eJs2zqndRPb87r9Su8ziKcATHcAoeXEINbqEODWAwgGd4hTdHOC/Ou/Mxby04+cwh/IHz+QNe043e198430图2. Keplerian 速度场的示意图，该速度场围绕轴 ξ旋转，箭头的长度表示速度的大小。速度大小随距离减小，如公式（1）所描述。我们的方法不假设对轴 ξ 的知识，该轴与底层的 3D发射一起进行联合估计（第4.2节）。0平面，其中时间动力学由 Keplerian 角速度 ω ( r )建模，该角速度随离黑洞中心的距离 r减小[9]。特别地，围绕质量为 M且角动量为零的黑洞的半径为 r的轨道的角频率由以下公式给出：0ω ( r ) 02π ∫0r3/GM ∝ r^{-3/2}. (1)0其中 G是引力常数。当黑洞的角动量（即自旋）不为零时，（1）的扩展形式在补充材料中给出[31]。角速度随径向距离的连续变化导致结构的剪切（图2）。剪切操作可以通过坐标变换来表示在时间 t = 0 时的规范发射：0e ( t, x ) = e0 ( R ξ ,ϕ x ), (2)0其中 R ξ ,ϕ 是绕轴 ξ 1 旋转角度 ϕ的旋转矩阵。位置和时间相关的角度 ϕ 由以下公式给出0ϕ ( t, r ) = tω ( r ) ∝ tr^{-3/2}. (3)03.2. 具有引力透镜效应的光线追踪0在时间 t 时，任何像素 p n ( t ) 的辐射度由沿光线路径 Γ n在图像平面起源的 3D 发射的“反向”积分给出。对于 N ×N 个像素，离散化的图像平面由向量定义：0I ( t ) = [ p 1 ( t ), ..., p N 2 ( t )]. (4)0广义相对论（GR）中的弯曲光线路径可以描述为沿光线距离 s 的4D（一个时间和三个空间维度）参数函数。如果我们知道以第 n个像素结束的弯曲光线路径 Γ n = ( t ( s ), x ( s ))，我们可以通过对 s进行积分来计算其强度：0例如，根据 Rodrigues 旋转公式给出0图3.一个绕黑洞轨道运动的发射热点和由引力弯曲的轨迹导致的一维图像平面投影的二维示意图。随着时间的推移，t0 →t1，由于内部半径的移动速度比外部半径快，热点发生剪切（第3.1节）。颜色编码的测量结果说明了两个不同时刻的投影图像。选择的光线追踪以突出引力弯曲轨迹引起的有趣的图像特征。0如果我们知道以第 n 个像素结束的路径 Γ n = ( t ( s ), x ( s))，我们可以通过对 s 进行积分来计算其强度：0pn ( t ) =∫0e ( t, x ) ds ≈0xi ∈ Γ n e ( t, xi ) ∆si. (5)0这里的 ∆ s i 是与第 i 个样本沿路径 Γ n相关的积分权重，可以看作是在第 i步中沿光线路径的距离。与欧几里得空间中的标准光线追踪不同，黑洞的引力场会使光线轨迹弯曲，这些弯曲的光线路径通过积分微分方程[15,21]来计算；我们在补充材料[31]中提供了明确的方程。请注意，由于在这项工作中我们假设光线路径根据黑洞的质量和自旋是固定的，所以在层析优化过程中使用预先计算的轨迹。在公式（5）中，我们做出了三个简化假设。首先，我们假设发射气体的衰减（由吸收和散射引起）可以忽略不计。衰减对于一般的天体物理图像很重要，但对于SgrA*和M87的EHT图像可以忽略不计[16]。其次，尽管气体以相对论速度移动，导致光线传播时发射发生变化，但我们不考虑这一点[12, 14,35]。最后，我们不考虑相对论红移，当物质深入引力场或远离观察者时，它会减少发射。图3说明了黑洞后面的发射热点如何通过光线弯曲“成像”到图像平面，图中选择的光线展示了有趣的图像特征。198440图4.EHT随时间的空间频率采样模式。由于地球的旋转，EHT望远镜在不同时间探测不同的频率。EHT覆盖范围（左）包括现有望远镜，而ngEHT[40]还包括候选望远镜站点，从而得到更密集的覆盖（右）。观测时间选择为捕捉到在我们的模拟中使用的距离上SgrA�周围的发射的�1个完整轨道（第5节）。0广义相对论（GR）预测的一个关键图像特征是光线在到达传感器之前绕黑洞完整轨道产生的明亮的“光子环”[24]。03.3. 事件视界望远镜测量0事件视界望远镜（EHT）在全球范围内的望远镜记录来自黑洞源的同时射电信号。从望远镜对的记录射电信号的相关性结果是探测底层2D图像的单一空间频率的测量[43]。测量到的空间频率与望远镜之间的投影基线成正比：短基线探测低空间频率，而长基线探测高空间频率。这些被称为复可见度的测量可以表示为：0y(t) = FtI(t) + ε. (6)0这里，Ft是包含EHT采样的频率分量的2D离散时间傅里叶变换（DTFT）矩阵。测量的热噪声ε=(ϵ1，...，ϵK)�，服从高斯分布，其中σk与望远镜对的灵敏度有关[43]。实际上，由于大气和仪器误差[2]，还存在其他噪声源，但在这项工作中，我们仅限于基本的望远镜灵敏度。图4显示了EHT在2017年4月7日夜间随时间的频率采样覆盖情况。EHT阵列包括在2017年观测中使用的现有望远镜。下一代EHT（ngEHT）[40]阵列包括额外的候选望远镜站点，这些站点被提议用于未来的EHT观测。这些望远镜站点根据有利的大气透过率和地理位置选择[40]，可以提供更密集的频率覆盖。04. BH-NeRF: 黑洞神经辐射场0在本节中，我们讨论了如何使用测量模型（详见第3节）来监督基于坐标的神经网络对黑洞周围的3D发射进行重建。图5给出了一个块图概述。04.1. 将发射表示为神经网络0我们从NeRF[34]中得到启发，使用MLP神经网络的权重θ来参数化时间t=0时的3D体积。这个MLP以连续值坐标x作为输入，并输出相应的发射值：0e0(x) = MLPθ(γ(x)) (7)0其中γ(x)是输入坐标的位置编码，将每个输入坐标投影到一组指数增长频率的正弦波上：0γ(x) = � sin(x), cos(x), ..., sin�2L−1x�, cos�2L−1x��T.0(8)这个位置编码控制了MLP使用的基础插值核的带宽，其中参数L确定了插值核的带宽[41]。在我们的实验中，我们使用一个具有4层的MLP，每一层都是128个单元宽，并使用ReLU激活函数。我们使用最大的位置编码度L=3。较低的L度适用于自然平滑的体积发射场（参见Suppl.[31]）。此外，EHT测量观察到有限范围的频率，因此，使用不会引入不能由测量监督的虚假高频率的位置编码度是很重要的。04.2. 旋转轴估计0在前一节中，我们描述了如何使用神经网络将3D发射建模为连续函数。为了从测量中恢复未知的发射，我们的方法依赖于开普勒运动来模拟轨道和随时间的演化（第3.1节）。我们考虑了一个角速度由方程（3）很好地建模的情况，然而旋转轴ξ（方程（2））是未知的。对于SgrA*，过去的研究曾试图限制旋转轴[7]。然而，由于测量和建模误差，这些约束具有较大的不确定性。因此，我们的方法联合估计未知轴和3D发射（图5）。来自其他观测的估计值可能能够作为优化问题的良好先验或初始化。由于正向模型是完全可微的，梯度可以反向传播以直接优化未知的旋转轴，表示为归一化的3向量ξ。如图6所示，我们确定了一个持久的局部最小值，它发生在对称轴上，等于负的真实旋转轴的导数。这可以直观地解释：即使没有时间混叠，两个相对的轨道共享一个公共的旋转平面。因此，投影发射在图像平面上形成一个共同的“线”，导致比扰动旋转轴更低的损失。这个局部最小值存在于所有呈现的实验中。为了避免这个局部最小值，我们使用从单位球中随机抽取的随机单位向量以及其对称对应向量来初始化旋转轴，从而找到全局最小值并准确恢复热点发射。L(θ, ξ) =�t∥y(t) − FtIθ,ξ(t)∥2Σ ,(9)pn(θ, ξ) =�xi∈ΓnMLPθ [γ(Rξxi)] ∆si.(10)198450图5. 我们提出的层析成像方法的块图。我们使用MLP将初始3D发射 e 0 建模为连续函数（由 θ 参数化）。网络的输入是3D坐标x（通过位置编码进行转换-参见第4.1节）。轨道动力学由旋转轴 ξ 参数化，决定初始发射随时间的演化 e 0 ( x )  →  e ( t,  x)（第3.1节）。BH-NeRF使用考虑了物质轨道和引力透镜效应的物理动机损失来联合求解 θ 和 ξ 。望远镜测量用于约束 θ 和 ξ 的优化。0图6.对称性在相反的旋转方向上引起局部最小值。顶行显示了黑洞背后赤道平面上单个热点的真实发射。顶行图像是使用旋转轴 ξ true  =(0 ,  0 ,  1) 渲染的。当将 ξ 0初始化为南半球的随机向量时，收敛解找到了一个局部最小值。将旋转轴初始化为相反符号向量（在北半球）可以识别出全局最小值，并准确地恢复热点发射。0真实旋转轴的导数。这可以直观地解释：即使没有时间混叠，两个相对的轨道共享一个公共的旋转平面。因此，投影发射在图像平面上形成一个共同的“线”，导致比扰动旋转轴更低的损失。这个局部最小值存在于所有呈现的实验中。为了避免这个局部最小值，我们使用从单位球中随机抽取的随机单位向量以及其对称对应向量来初始化旋转轴，从而找到全局最小值并准确恢复热点发射。0半球。我们展示了具有最低收敛损失的发射结果。04.3. 优化0现在我们详细介绍在完整优化问题中如何整合第3节和第4节中描述的所有组件。优化问题通过最小化关于网络参数 θ和旋转轴 ξ 的损失函数来求解：0这里，t表示离散的观测时间帧，∥ v ∥ 2 Σ ≡  v � Σ − 1v。热噪声协方差矩阵 Σ = diag � σ 2 1 , ..., σ 2 K �由每对望远镜天线参数确定[40]。使用方程（2），（5），（7），可以将每个图像像素 pn（I的元素）展开为未知参数的函数：05. 实验0在本节中，我们描述了模拟设置并展示了实验结果。这些合成实验假设我们正在观察SgrA*，即银河系中心的黑洞，其质量 M为四百万个太阳质量，角动量为零。这些内在参数对于设置ω ( r )的大小至关重要，如方程（1）所述。发射的热点大致随机放置在半径为 1 . 16 ×  r ms 的位置，导致轨道周期约为 40分钟。每个热点都以3D高斯分布生成，具有各向同性的标准差为 0 . 4 ×  GM/c 2 。使用 128 个时间帧和 64×64×64的3D体素网格分辨率生成了真实发射。该网络使用 JAX [6]实现，并使用一种198460BH-NeRF0图7.BH-NeRF与两种替代表示的比较。我们显示了三个实验设置的恢复发射，其中地面真实发射从一个热点（左列）增加到四个热点（中列）再增加到八个热点（其中四个在t =0之前闪烁）。在所有方法中，我们从图像域测量中恢复发射（投影平面用绿色表示），并可视化t =0时刻的恢复发射。我们发现BH-NeRF在视觉和定量上都表现更好。对于定量指标，我们显示了与地面真实发射相比的PSNR值。虽然BH-NeRF明显优于4DMLP，但我们注意到这种更广义的表示在具有未知动力学的环境中可能会有用。0使用ADAM优化器[26]，学习率从1e-4过渡到1e-6，迭代次数为5K。EHT测量使用eht-imaging[11]生成，包括真实的热噪声。恢复运行时间在两个NVIDIA Titan RTXGPU上约为15分钟。代码实现可在项目页面[31]上获得。0探索替代发射表示。我们提出的方法BH-NeRF在第4节中描述，将4D发射通过时间表示为一个以坐标为基础的连续神经网络和参数流场参数化的3D体积。在图7中的实验中，我们探索了两种替代表示。0并将它们与BH-NeRF进行比较。第一种方法被称为3DGrid，它依赖于开普勒轨道运动模型（在第3.1节中描述），但是它不使用连续的神经表示，而是使用离散的体素网格。第二种方法4DMLP忽略了轨道运动模型，并恢复了一个4D连续的发射场，表示为类似于BH-NeRF的MLP（即，输入为4D时空坐标而不是3D空间坐标）。在图7中，我们将使用完整的图像平面测量和真实的旋转轴（未估计）来比较恢复的发射。结果显示了三种不同的地面真实发射模式，复杂性逐渐增加（从左到右）。在最简单的情况下（左列），一个发射热点在黑洞前面的t =0时刻闪耀，因此直接可见。图7的顶部行显示了初始和最终帧的观测：t = {0，t1}。中间列显示了在t =0时刻闪烁的四个热点的重建，其中两个直接可见，两个“隐藏”在黑洞后面并受到引力透镜效应。最后一个实验（右列）显示了八个热点，其中四个在t = 0之前闪烁，四个在t=0时刻闪烁。在我们的实验中，我们发现BH-NeRF在最小调整的情况下略优于3D体素网格，这可能是由于它连续且自适应地分配分辨率。相比之下，4D表示的性能要差得多。这是预期的，因为它不使用任何关于发射动力学的假设。然而，我们强调，4D表示在真实动力学与我们的开普勒流假设显著不同的情况下可能特别有用。0增加测量稀疏性。在接下来的模拟中，我们演示了围绕不同轴旋转的三种发射模式的恢复，其中有已知和未知（估计）旋转轴。第一个实验中的初始发射（图8的前两行）有三个热点，其中两个“隐藏”在黑洞后面，一个直接可见在黑洞前面。光线追踪的图像平面用绿色突出显示。对于每个实验，我们显示恢复的体积（每个重建下的PSNR）和恢复的轴（恢复和真实轴的点积在重建下指定）。此外，结果显示在t =10分钟时，使用估计的轴ξ^推进时间。BH-NeRF的一个关键方面是能够恢复任意发射分布，从而实现新的科学发现。图8中的第三个实验通过恢复围绕随机方向轨道运动的3DMNIST[10]数字（'0'-'4'）来展示这种能力。尽管'2'最初出现在黑洞后面，但BH-NeRF能够恢复其特征（在补充材料[31]中给出进一步分析）。虽然在实践中，我们只能获得图像平面的稀疏可见性测量（第3.3节），但图像198470图8.三个具有不同旋转轴和发射模式的实验的模拟结果。前两个实验显示了两个不同时间的高斯发射热点的恢复情况。第三个实验（底部）显示了3D数字的恢复，这说明了我们的方法对建模任意3D发射的灵活性。每个实验都显示了：图像平面投影，地面真实情况和恢复情况。两者的轨道周期约为40分钟。绿色突出显示了从中追踪射线的图像平面。恢复结果分别显示了未知（估计）和已知旋转轴。在t =0时，一部分发射直接可见，一部分“隐藏”在黑洞后面，并被透镜成图像平面上。每个恢复下方给出了与地面真实情况相比的定量峰值信噪比值。对于旋转轴，与地面真实情况的点积在每个恢复下方指示。0基于的恢复作为EHT-based结果的上限形式是有用的（类似于用望远镜铺设地球），如预期的那样，通过使用额外的ngEHT望远镜增加测量次数，可以在视觉上和定量上改善恢复结果，而仅使用当前的EHT望远镜则不能。0速度模型不匹配。开普勒运动模型是一个很好的近似，但它没有考虑到0复杂的动力学（例如由湍流或磁驱动喷流中的流动运动引起的）[16]。为了分析我们的方法对速度模型不匹配的鲁棒性，我们用由幅度m和相关长度ℓ参数化的相关高斯噪声扰动它。对于每个参数集（m，ℓ），采样了五个速度剖面来生成数据。从最佳和最差的PSNR参数集中选择的样本重建结果分别用蓝色和红色突出显示。尽管重建随着噪声幅度的增加而变差，但我们的方法仍能捕捉到发射结构并以合理的模型不匹配水平估计旋转轴。While our model is able to recover 3D emission in chal-lenging scenarios with sparse observations, we rely on afew assumptions to do so.First, we assume knowledgeof the black hole’s spin and mass in order to pre-computethe curved trajectories of rays and velocity profile.Al-though reasonable ranges of values for these variables canbe obtained from other observations, estimating them inde-pendently could provide tighter constraints on these scien-tifically impactful parameters. However, estimating theseparameters requires back-propagating through the gravita-tional lensing ray-tracing equations (see supplemental ma-terial [31]). We therefore leave this challenging extensionto future work. Second, we assume a Keplerian dynamicsmodel where the angular velocity is determined by the dis-tance from the black-hole center. Nevertheless, in Sec. 5we show that our method is robust to some uncertainty inthe velocity profile. Third, in this work we do not consideradditional flares appearing during the observation window.However, as we expect to be able to identify and isolatethe time that flares appear by looking for changes in thesource’s integrated flux (total brightness), we do not expectthis to be a significant limitation. Fourth, while our exper-iments include realistic thermal noise, we do not includeinstrumental errors or particularly challenging atmospheric198480图9.模型不匹配的恢复性能。我们用相关的高斯噪声扰动径向速度模型。1）顶部面板显示了具有不同噪声幅度（m）和相关长度（ℓ）的噪声速度剖面样本。红色突出显示了发射轨道区域。2）右上方显示了平均峰值信噪比。3）底部面板显示了体积地面真实情况，无速度噪声重建以及来自突出参数集的重建结果。结果来自合成的ngEHT测量。0虽然我们的模型能够在观测稀疏的挑战性场景中恢复3D发射，但我们依赖于一些假设来实现这一点。首先，我们假设知道黑洞的自旋和质量，以便预先计算射线和速度剖面的曲线轨迹。虽然这些变量的合理范围可以从其他观测中获得，但独立估计它们可能会对这些科学影响参数提供更严格的约束。然而，估计这些参数需要通过引力透镜射线追踪方程进行反向传播（参见补充材料[31]）。因此，我们将这个具有挑战性的扩展留给未来的工作。其次，我们假设开普勒动力学模型，其中角速度由距离黑洞中心的距离确定。然而，在第5节中，我们展示了我们的方法对速度剖面的一些不确定性是鲁棒的。第三，在这项工作中，我们不考虑观测窗口期间出现的额外耀斑。然而，我们预计通过寻找源的综合流量（总亮度）的变化来能够确定和隔离耀斑出现的时间，因此我们不认为这是一个重大限制。第四，虽然我们的实验包括了现实的热噪声，但我们没有考虑仪器误差或特别具有挑战性的大气06. 限制0噪声需要在将我们的模型应用于真实的EHT或未来的ngEHT测量之前进行研究.07. 结论0这项工作首次展示了如何利用事件视界望远镜的地面观测来恢复银河系中心超大质量黑洞周围不断变化的3D辐射.我们的贡献有两个方面.首先，我们提出了恢复黑洞周围动态3D辐射的新型层析成像问题.其次，我们将神经辐射场推广到具有曲线光线轨迹和由黑洞引起的轨道动力学的场景中.这使得可以从单个视点随时间稀疏测量中恢复动态3D辐射.我们的模拟和分析显示，层析重建黑洞周围动态环境的前景广阔，这一方向可以为我们对动态宇宙的新见解打开大门.此外，我们相信我们的工作可以为其他科学层析应用铺平道路，例如依赖于复杂光线追踪的折射和散射.0致谢0AL受到Zuckerman和Viterbi博士后奖学金的支持.AC受到Hubble奖学金HST-HF2-51431.001-A的支持，该奖学金由STScI运营，由AURAAstronomy为NASA（NAS5-26555）提供支持.本工作得到了NSF的1935980、2034306、2048237和Beyond Limits的支持.198490参考文献0[1] Kazunori Akiyama, Antxon Alberdi, Walter Alef, KeiichiAsada, Rebecca Azulay, Anne-Kathrin Baczko, David Ball,Mislav Balokovi´c, John Barrett, Dan Bintley等.M87事件视界望远镜首次结果. ii. 阵列和仪器.《天体物理学杂志快报》, 875(1):L2, 2019.  10[2] Kazunori Akiyama, Antxon Alberdi, Walter Alef, KeiichiAsada, Rebecca Azulay, Anne-Kathrin Baczko, David Ball,Mislav Balokovi´c, John Barrett, Dan Bintley等.M87事件视界望远镜首次结果. iii. 数据处理和校准.《天体物理学杂志快报》, 2019.  40[3] Bradley Atcheson, Ivo Ihrke, Wolfgang Heidrich, Art Tevs,Derek Bradley, Marcus Magnor和Hans-Peter Seidel.非稳态气体流的时间分辨3D捕获.  《ACM图形学交易》(TOG),27(5):1–9, 2008.  20[4] Katherine L. Bouman, Michael D. Johnson, Adrian V.Dalca, Andrew A. Chael, Freek Roelofs, Sheperd S.Doeleman和William T. Freeman.从射电干涉测量中重建时变源的视频. 《IEEE计算成像交易》,2018.  10[5] Katherine L. Bouman, Michael D. Johnson, Daniel Zoran,Vincent L. Fish, Sheperd S. Doeleman和William T. Freeman.用于VLBI图像重建的计算成像.  CVPR, 2016.  10[6] James Bradbury, Roy Frostig, Peter Hawkins, MatthewJames Johnson, Chris Leary, Dougal Maclau- rin, GeorgeNecula, Adam Paszke, Jake VanderPlas, SkyeWanderman-Milne和Qiao Zhang. JAX:Python+NumPy程序的可组合转换, 2018.  50[7] Avery E. Broderick, Vincent L. Fish, Michael D. Johnson,Katherine Rosenfeld, Carlos Wang, Sheperd S. Doeleman,Kazunori Akiyama, Tim Johannsen和Alan L. Roy.用辐射效率低的吸积流模型对事件视界望远镜七年观测进行建模.《天体物理学杂志》, 2016.  40[8] Avery E. Broderick和Abraham Loeb. 成像sgra黑洞地平线附近的亮点.  《皇家天文学会月报》, 2005. 10[9] Avery E Broderick和Abraham Loeb.在射电和近红外波长下成像sgr a*黑洞地平线附近的光学薄热点.《皇家天文学会月报》, 367(3):905–916, 2006.  30[10] David de la Iglesia Castro。3DMNIST：MNIST手写数字数据库的3D版本。https://www.kaggle.com/daavoo/3d-mnist。60[11] Andrew A. Chael，Michael D. Johnson，Katherine L.Bouman，Lindy L. Blackburn，Kazunori Akiyama和RameshNarayan。使用闭合相位和闭合幅度直接进行干涉成像。天体物理学杂志，2018年。1，60[12] Chi-kwan Chan，Dimitrios Psaltis和Feryal  ¨Ozel。GRay：用于相对论时空中的光线追踪的大规模并行GPU代码。天体物理学杂志，2013年。30[13] Zhiqin Chen和HaoZhang。学习隐式场进行生成形状建模。CVPR，2019年。20[14] JasonDexter。用于旋转黑洞周围的广义相对论偏振辐射传输的公共代码。MN- RAS，2016年。30[15] Jason Dexter和EricAgol。在Kerr时空中计算光子轨道的快速新公共代码。天体物理学杂志，2009年。30[16] Event Horizon TelescopeCollaboration等。第一次M87事件视界望远镜结果。V.不对称环的物理起源。天体物理学杂志快报，2019年。3，70[17] Guy Gafni，Justus Thies，Michael Zollh¨ofer和MatthiasNießner。用于单目4D面部化身重建的动态神经辐射场。CVPR，2021年。20[18] Angela F. Gao，Jorge C. Castillo，Yisong Yue，Zachary E.Ross和Katherine L.Bouman。DeepGEM：用于盲反演的广义期望最大化。NeurIPS，2021年。20[19] R. Genzel，R. Sch¨odel，Thomas Ott，A. Ecka