≥软件X 10（2019）100265原始软件出版物RTransferEntropy -使用有效传递熵量化不同时间序列Simon Behrdta，Thomas Dimpflb， Franciska J. Petera，David J. Zimmermannca齐柏林大学，实证金融和计量经济学系，88045 Friedrichshafen，德国b图宾根大学经济和社会科学学院，商业和经济学院，统计、计量经济学和实证经济研究系，72074图宾根，德国cWitten/Herdecke大学，银行和金融系，58448 Witten，德国ar t i cl e i nf o文章历史记录：收到2019年2019年6月21日收到修订版2019年6月21日接受保留字：Shannon转移熵Rényi转移熵有效转移熵Bootstrap推理Ra b st ra ct利用R软件包RTransferEntropy，给出了如何用Shannon传递熵和Rényi传递熵对两个时间序列之间的信息流进行量化和检验。我们讨论的方法，适用于计算有效转移熵和概述如何进行统计推断的偏差校正。此外，我们详细描述了该软件包，并通过几个模拟过程演示其功能，并提出了一个应用程序的金融时间序列。©2019作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v 0.2.8用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2019_13代码海洋计算胶囊法律代码许可证GPL-3使用git的代码版本控制系统使用R、C++、GitHub、TravisCI的软件代码语言、工具和服务编译要求，操作环境依赖性64位操作系统，R（3.1.2版），R软件包：future，Rcpp如果可用开发人员文档/手册https://github.com/BZPaper/RTransferEntropy问题支持电子邮件thomas. uni-tuebingen.de软件元数据当前软件版本v 0.2.8此版本可执行文件的永久链接https://github.com/BZPaper/RTransferEntropy法律软件许可证GPL-3计算平台/操作系统Linux，MacOS，Microsoft Windows安装要求依赖64位操作系统，R（版本≥3.1.2），R包：future，Rcpp如果可用，请链接到用户手册https://github.com/BZPaper/RTransferEntropy问题支持电子邮件thomas. uni-tuebingen.de*通讯作者。电子邮件地址：thomas. uni-tuebingen.de（T. Dimpfl）。https://doi.org/10.1016/j.softx.2019.1002651. 介绍量化不同时间序列之间的信息传递在各个研究领域都有很大的兴趣这一努力2352-7110/©2019作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2S. 贝弗莱特，T.Dimpfl，F.J.Peter等人粤ICP备10026520号-1+|+ − + + −|+−++−+（k不不→→→→→pq（j）∑∑PJ∑→→+不+不不不不不不p（it+1|i（k））J1−qφq（i（k），j（l））pq（it+1|i（k），j（l））i、j不不不不通常依赖于从关于潜在随机过程或动态理论模型的特定对象假设和限制导出的测量。传递熵[1]是时间序列之间非对称信息传递的非参数度量，提供了一个很好的替代方案。它-和l（方法J）。马尔可夫性质意味着在k个先前观测的条件下，在时间t 1在状态i中观测到I的概率是p（i t1i t，. . . ，i tk1） p （ it1it，. . . ，i tk）。一旦已知先前的k个值，则对t1中的观察进行编码所需的平均比特数由下式给出：只需要几个关于潜在随机数的假设，TIC工艺，其允许广泛使用。它已被应用于检测脑电图h I（k）= − ∑p（i t1，i（k））log p（i t1|（i）、（2）（EEG）数据来自健康和癫痫个体[2]，以分析南极绕极波[3]，或检查信息其中i（k） =（i t，. . .，i t-k+1）（类似于过程J）。在金融市场之间的传导[4]。它也用于生物医学工程[5，6]，神经科学[7通过量化对广义马尔可夫性质p（i t+1）的偏离，度量了从过程J到过程I的二元案例信息流|i（k））=p（i t+1|i（k），j（l）），依赖于Kullback-形成的统计和理论背景，估计方法和应用的转移熵。Leibler距离香农转移熵的公式[1]是给出（k）（l）第一批我们的软件包RTransferEntropy[12]提供了一个用户友好的工具计算R中的Shannon和Rényi转移熵。该软件包的一个核心方面是允许统计推断和hy-T J→I（k，l）= ∑p（i t+1，i（k），j（l））log p（it+1|it，jt），（3）转移熵背景下的假设检验此外，委员会还认为，它基于数据的经验分布的先验定义的箱或分位数，为数据的符号编码提供了第二节介绍了Shan-non和Rényi转移熵、偏差校正和用于进行统计推断的Bootstrap。第3其中T JI测量从J到I的信息流。J，作为从I到J的信息流的度量可以类似地导出。信息流的主导方向可以通过计算TJI和TIJ之间的差来推断。传递熵也可以基于雷尼熵[17，18]。雷尼熵取决于加权参数q，并且可以计算为：描述了软件包及其功能，第4节比较现有的软件。第5节和第6节通过模拟时间序列和经验数据说明了软件包的使用Hq=1log∑pq（j）J分别第7节结束2. 利用转移熵2.1. 传递熵和Rényi传递熵转移熵植根于信息论，并基于香农熵作为不确定性度量的概念。1928年，Hartley [13]引入了一种信息测度，计算为所有可能符号个数的对数q> 0。对于q1，Rényi熵收敛于Shannon熵。2对于0q< 1，具有低概率的事件接收更多权重，而对于q>1，权重有利于结果0来归一化加权分布，Rényi转移熵[18]推导为：可以基于特定概率分布发生的序列，[14]参见[考虑概率分布1∑ φq（i（k））pq（it+1|i（k））RTJ→I（k，l）=日志信息t.（四）t∑iespj. 每个符号的平均值（单位：f）定义为H=pjlog2（1）比特，其中n是不同符号的数量注意，Rényi转移熵的计算可以导致：负值。在这种情况下，了解J的历史揭示了比其他情况更大的不确定性与概率pj相关联。在1948年，香农[15]引入了熵的概念（后来称为香农熵），它指出，对于具有概率分布p（j）的离散随机变量J，最佳编码独立抽取所需的平均比特数可以计算为HJ=−p（j）log2p（j）。（一）J在下文中，log表示以2为底的对数。1香农为了度量两个时间序列之间的信息流，在假设底层过程是马尔可夫过程的情况下，将香农熵与Kullback-Leibler距离的概念设I和J表示两个具有边际概率分布p（i）和p（j），联合概率p（i， j）的离散随机变量，其动力学结构对应于一个k阶平稳马尔可夫过程（过程I）.1对数底的选择以2为底的对数表示位，以10为底的数字，自然对数的底产生nat。只知道我的历史。更多详情请参见[18]。2.2. 诊断和推理传递熵估计值在小样本中存在偏差[20]。偏差校正是可能的，并且用于计算有效传递熵[20]，如下所示：ETJ→I（k，l）=TJ→I（k，l）-TJshuffled→I（k，l），（5）其中，TJ混洗I（k， l）指示使用时间序列J的混洗版本的传递熵。洗牌意味着随机从观察到的时间序列J中提取值并重新排列它们以生成新的时间序列，这破坏了J的时间序列依赖性以及J和I之间的统计依赖性。因此，TJshuffled→I（k， l）收敛到零，增加样本量和任意非零值的T J混洗I（k，l）这是由于小样本效应。为了得到一致的估计量，重复混洗，并且在所有重复中得到的混洗转移熵估计的平均值用作小样本偏差的估计，随后减去小2附录中提供了证明。我社交媒体数据[10]。[11]见：见。1−q不同的结果以不同的概率发生，nj=1S. 贝弗莱特，T.Dimpfl，F.J.Peter等人粤ICP备10026520号-13ˆ--···−−⎪⎩−⎧⎪从香农或雷尼传递熵估计中获得偏差校正的有效传递熵估计。为了评估转移熵估计值的统计显著性，如等式（Eq.（3），我们依赖于马尔可夫块自举[14]。与混洗相反，它保留了变量J和I之间的依赖关系，但消除了它们之间的统计依赖关系。在无信息流的原假设下，传递熵的重复估计给出相关的p值由1qT给出，其中qT表示由相应的转移熵估计确定传递熵的计算是基于离散数据的。因此，必须将连续数据离散化。这可以通过符号编码来实现，即将数据划分为有限数量的bin。用q1，q2 ， . ， q n 表 示 n个二进制的边界。. .，q n1，其中q1library（future）R>计划（多进程）为了演示transfer_entropy（）的输出，我们提供了一个简单的例子。让我们考虑两个随机变量X和Y之间的线性关系，其中Y以一个滞后依赖于X，而X独立于Y，使得延迟传递熵或有效传递熵一个单一的方向，没有自举标准误差，xt=0。2xt−1+εx，t，yt=xt−1+εy，t，（七）p值。耗时的函数用C++编写，Rcpp包[21].此外，我们还提供并行计算其中εx，t和εy，t正态分布，平均值为0，使用未来包的功能[22]。下面，我们将介绍transfer_ entropy（）及其选项的用法。R>transfer_entropy（x，y，lx=1，ly=1， q =0.1，R>entropy=c（“Shannon”，“Renyi”），shuffles=100， R>type=c（“quantiles”，“bins”，“limits”），R>quantiles=c（5，95），bins= NULL，limits=NULL，R>nboot=300，burn=50，quiet= 0，seed=NULL）标准差为2。在这种情况下，X充当Y的预测因子，但反之亦然。我们模拟了这些过程的10，000个观察结果，如下所示：1 例如，表现出确定性结构的时间序列的算法在软件包tseriesChaos[26]和nonlinearTseries[27]中实现2 在内部，transfer_entropy（）将简单地调用set.seed（seed）。保留此功能是为了使用户更容易在并行执行下实现再现性。St=..（六观察到的时间序列的经验分布（默认值），⎨⎪4S. 贝弗莱特，T.Dimpfl，F.J.Peter等人粤ICP备10026520号-1√R> 结 籽（12345）R> n-10000R> x-rep<（0， n+1 ）R>y-rep<（0， n+ 1） R>对于（iin seq（n））{R+x[i+1]-0.2*x[i]+rnorm（1，0，2）R+y[i+1]-x[i]+rnorm（1，0，2）R+}R>R>x-x[-1]R>y-y[-1]随后，我们使用所有函数参数（种子除外）的默认设置来R>shannon_te- transfer_entropy（x = x，y = y，seed= 12345）8个核心的香农熵，100次洗牌。x和y的长度为10000（删除0个NA）[计算] X->Y传输熵[计算] Y->Xtransfer entropy [bootstrap]300次完成-总时间14.69秒下面transfer_entropy（）的输出总结了所有重要信息，并突出显示用于说明目的。在输出表的上部（红色），（有效）传递熵以TE（Eff. TE）列的信息流的每个方向。标准误、p值和统计显著性的指示（参见底部的解释）在第四至第六列中给出。这些量基于自助样本，其分位数在输出表的下部（蓝色）提供，用于信息流的两个方向。将TE估计值与自助样本进行比较，以计算p值，如第2节所述。从下面的输出中，我们可以看到，从X到Y有一个重要的信息流，但反之亦然（如预期的那样，请参见等式2）。（七））。R> shannon_te香农转移熵结果：方向TE有效性TE标准品呃。p值信号X->Y0.0902 0.0893 0.00030.0000***Y->X0.0006 0.0000 0.00030.8033-------------------------------------------------自举TE分位数（300次重复）：方向0% 25% 50% 75% 100%0.0003 0.0006 0.0009 0.0011 0.00230.0003 0.0007 0.0009 0.0011 0.0029-------------------------------------------------观察次数：10000-------------------------------------------------p值：0.0014. 与现有传递熵工具的本节简要概述了允许计算转移熵度量的现有工具。表1列出了我们在此比较中考虑的工具。除了MuTE工具[28]之外，所有工具都是在GPL v3开源许可证下许可的，并且可以免费使用。[29]和IDTxl [30]仍在积极维护中，而Trentool [31]和MuTE [28]已经过时，似乎不再维护。JIDT和IDTxl都是信息动力学一般领域的工具箱，而不是特定于传递熵，而我们的软件包侧重于传递熵测量。虽然所有工具都允许计算香农转移熵，但RTransferEntropy是唯一允许计算雷尼和有效转移熵的工具。此外，RTransfer- Entropy旨在成为一个易于使用和依赖性轻的工具，允许在R生态系统中计算传输熵度量。5. 应用于模拟过程再次考虑上面的例子，其中结果显示从X到Y的信息流很大，但反之亦然。使用向量自回归（VAR）模型和Granger因果关系检验可得出类似结论[32]。然而，使用转移熵的主要优点是它不限于线性关系。考虑以下X和Y之间的非线性关系，其中只有Y依赖于X：x t=0。2xt−1+εx， t，（8）y t=|x t−1| +εy，t，其中εx， t和εy， t为标准正态分布。我们模拟这些过程，丢弃前200个观测值作为R中的老化期，如下所示：R>结 籽 （ 12345）R> n-10000R>x-rep（0，n+200 ）R>y-rep（0，n+200） R>R>x[1]-rnorm（1，0，1）R>y[1]- rnorm（1，0，1） R>R>for（iin 2：（n+200））{R+x[i]- 0.2*x[i-1]+rnorm（1，0，1）R+y[i]<- sqrt（abs（x[i-1]））+rnorm（1，0，1） R+}R>R> x-x[-（1：200）]R>y-y[-（1：200）]这个例子的重点是香农转移熵。我们使用transfer_entropy（）函数的标准设置，使用一个滞后来计算传递熵。R>shannon_te2- transfer_entropy（x = x，y =y，seed = 12345）如表2所示，得到的香农传递熵估计表明，从X到Y存在显著的信息流，但在另一个方向上没有在同样的情况下，VAR模型不会揭示X和Y之间的任何关系。使用包变量[33]和一个滞后（真正的滞后结构）提供了因变量Y的VAR（1）的以下估计值。S. 贝弗莱特，T.Dimpfl，F.J.Peter等人粤ICP备10026520号-15{=-=表1工具箱的比较工具箱源语言可用功能测试许可证版本特伦图尔[三十一]MATLAB传递熵是的GPL v33.4.3JIDT[29日]爪哇*传递熵、互信息;没有GPL v31.5主动信息存储静音[28日]MATLAB传递熵;互信息没有––IDTxl[30个]Python（多元）传递熵;是的GPL v31（多元）互信息;主动信息存储;部分信息分解RTR转移熵R（有效）转移熵;是的GPL v30.2.8（有效）雷尼转移熵注. 该表概述了允许计算传递熵的现有工具箱的主要功能*提供到Matlab、Python、R、Julia和Clojure的绑定表2Shannon转移熵结果。面板A：转移熵估计中央箱变小。然而，统计学显著性不受影响。此外，在这个特定的模拟实验中，置信区间在不同的Y→XY→ X注.该表显示了基于根据等式2模拟的数据的转移熵估计。（八）、估计（图A）基于1000个观察结果。自举转移熵分位数（图B）基于300次自举复制。* （**，*）表示在0.1%（1%，5%）显著性水平上的显著性表3非线性相关VAR结果。X Y通过Rényi转移熵，其允许对与各个箱相关联的概率进行加权。由于所提出的数据的符号编码，与分布中心的事件相比，尾部事件与较低的可能性因此，Rényi转移熵在计算转移熵时将更多的权重放在尾部。当假设分布在尾部更有信息量时，这特别再次注意，雷尼传递熵估计可能会变成负数。为了说明Rényi转移熵的使用，我们模拟了Y对X的依赖性随大小变化的数据。的创新。xt=0。2xt−1+εx，t（ 9）xt−1+εy，t如果|εy，t|> sy，ty，t注.该表显示了基于根据等式2模拟的（八）、括号中提供了标准误差* （**，*）表示在1%（5%，10%）显著性水平上的显著性R>library（vars）R>varfit<- VAR （ cbind （ x ， y ） ， p=1 ，type=“const”）估计结果见表3。VAR无法检测Y对X的非线性依赖性，这导致参数估计值X.L1在统计上不显著。正如预期的那样，X的自回归性质很容易识别。传递熵的数值受 分位数的选择。自然地，改变分位数会导致尾部和数据经验分布中心的观测值数量的增加或减少。因此，符号编码是不同的，并且等式中的概率是不同的。（3）和（4）相应地改变，这可能导致传递熵的不同数值。以来传输熵没有被归一化到某个区间，很明显，两个方向上的信息流不能跨越不同的分位数而只能针对相同的分位数进行比较，即，在不同的分位数选择上不可能确定信息流的主导方向。为了说明这种效果，我们重新估计香农转移熵的选择分位数。图1报告了增加尾部箱的结果（因此，缩小了中心箱）。可以看出，从X到Y的有效传递熵的数值随着时间的增加而增加。其中εx，t和εy，t为标准正态分布，使得σy1，且s2σy。如前所述，X作为Y的预测值，但 而不是相反R> 结 籽 （ 12345）R> n-10000R>x-rep（0，n+200 ）R>y-rep（0，n+200） R>R>x[1]-rnorm（1，0，1）R>y[1]- rnorm（1，0，1） R>R>for（iin 2：（n+200））{[001 pdf-31files][001 pdf 1st-31files][001 pdf 1st-31filesR+abs（x[i - 1]）>1.65，R+x[i-1]+rnorm（1，0，1），R+0.2*x[i-1]+rnorm（1，0，1）R+）R+ }R>R> x-x[-（1：200）]R> y-y[-（1：200）]我们估计Rényi转移熵与加权参数q 0。3，这给了一个合理的权重（罕见的）尾部观察。Rényi传递熵的估计被调用如下：yt=0的情况。2xt−1+ε如果|ε|renyi_te_transfer_entropy（x，y，R+熵=“Renyi”，q=0.3，种子=12345）雷尼的熵在8个核心上有100次洗牌。x和y的长度为10000（删除0个NA）[计算] X->Y转移熵[计算] Y->X转移熵[引导] 300次完成-总时间14.41秒表4所示的结果表明，从X到Y存在统计上显著的信息流。另一个方向的影响在统计学上不显著。6. 应用于金融时间序列对金融市场信息流的分析有着悠久的历史。使用转移熵拓宽了检测信息流的可能性，因为也可以考虑非线性关系。为了说明转移熵的应用，我们使用标准普尔指数中包含的10只个股的数据集。500指数以及指数本身。5 数据范围从2000年1月3日至2017年12月29日该数据集作为stocks对象包含由于转移熵的计算需要平稳的数据，我们从价格序列中计算对数收益金融学的一个核心问题是个股如何定价。例如，资本资产定价模型试图用市场回报来解释股票价格的变动。因此，它捕捉到了市场和个股之间的线性相关性，而这又可以用来预测回报当市场的变化是已知的。利用传递熵，我们可以量化从市场到个股的信息流，从而确定个股在多大程度上容易受到由于市场环境整体变化而产生的信息的影响。5ADBE Adobe Systems Incorporated; AES AES Corporation; ALK Alaska AirGroup ， Inc.; AMD Advanced Micro Devices ， Inc. AMZN Amazon.com ， Inc.;APD空气产品和化学品公司是亚历山大房地产股票公司; 美国运通公司;波士顿地产公司; IBM国际商业机器公司。股票市场指数本身是单个股票的加权平均数.当然，小型股的权重较小，因此可能对指数的影响有限，而大型公司可能占主导地位。转移熵可以用来揭示从单个公司的回报流向市场的信息图2报告了10只股票的有效传递熵估计值以及95%的置信区间。在[34]之后，收益序列可以建模为一阶马尔可夫过程，这就是为什么我们将lx和ly保留为默认值。结果表明，事实上，存在一个双向的信息流。然而，对于大多数股票来说，从股票到市场的信息流要高于其他方向。此外，在两种情况下，流向股票的信息在统计上不显著（在5%的显著性水平上）。在金融中，定价相关信息很容易与尾部事件联系在一起，尾部事件指的是相对较大的正或负回报。如果这些确实更相关，雷尼传递熵提供了一个工具，可以更重视它们对整体信息流的贡献。为了说明这一特征，我们使用AXP股票，并计算标准普尔500指数和股票之间的Rényi传递熵，以选择加权参数q。结果如图所示。3.第三章。对于较低的q值，尾部中的信息被赋予较大的权重，这在当前情况下导致显著有效的这表明，尾部事件确实提供了相当多的信息，有助于分别预测标准随着尾部权重的减小，有效转移熵减小，甚至变为负值（q之间0的情况。3和q0的情况。8在从股票到指数的方向和q 0之间。5Q 0。9、另一个方向）。这种情况意味着对股票或指数发展的了解表明相应的其他实体的风险敞口较高。请注意，这并不意味着没有信息流。雷尼转移熵仅仅表明预测变量的风险更高，而不是具有正雷尼转移熵的情况，其中预测变量的未来回报的风险通过了解其他变量的当前回报而降低。图中的虚线表示香农转移熵。q的最后一个值是0.99，此时Rényi转移熵已经相当接近Shannon转移的值S. 贝弗莱特，T.Dimpfl，F.J.Peter等人粤ICP备10026520号-17=∑J1−qJ表4Rényi转移熵结果。面板A：转移熵估计Y→X注.该表显示了基于根据等式2模拟的数据的Rényi传递熵估计值。（九）、估计（图A）基于10，000个观测值和加权参数q0。3. 自举转移熵分位数（图B）基于300次自举复制。* （**，*）表示0.1%（1%，5%的显著性水平。图二. 选定股票的香农转移熵估计值。熵这再次说明当q接近1时，雷尼转移熵收敛于香农转移熵7. 结论我们提出并概述了有关R包RTransferEntropy的经验和理论方面，它提供了一个方便的工具来估计香农和雷尼转移熵，这两个来自信息论的成熟措施。特别地，该包使用以下公式计算有效传输熵：一个简单的有限样本偏差校正，并提供了进行统计推断的方法，这是跨研究领域的每个应用程序的一个重要方面。由于转移熵是一种非参数度量，可以检测时间序列之间的任何统计依赖性，因此它被应用于经济学，生物统计学或神经科学等各个学科。我们通过基于模拟过程的多个示例以及对金融时间序列的实证应用来演示该软件包的功能。后者说明了如何转移熵可以用来检测个股和整个市场之间的相互致谢我们感谢德国研究基金会（Deutsche ForschungsgemeinschaftDFG）和图宾根大学开放获取出版基金竞合利益我们希望确认，本出版物不存在任何已知的利益冲突，也不存在可能影响其结果的重大财务支持。阑尾 熵收敛建议：对于q−→1，Rényi熵，由Hq=1 log∑pq（j），以及Rényi转移熵如何允许在尾事件对整体信息流的贡献中给予尾事件更多权重。其中log表示以2为底的对数，收敛于香农熵，由HJ= −jp（j）logp（j）给出。方向TE有效性TESTD. 呃。p值sigX→ Y0.11210.02450.0654-0.02800.03040.02530.02330.8333*B组：Bootstrapped TE分位数方向0%的百分比百分之二十五百分之五十百分之七十五百分百X→ Y-0.01450.02930.05010.06470.1224Y→ X-0.02240.02640.04660.06510.14378S. 贝弗莱特，T.Dimpfl，F.J.Peter等人粤ICP备10026520号-1∑：−→ −→ = −：−→ −→=∑j∑Jg（q）==-校样：图3.第三章。不 同 q 值 的 Rényi转移熵。[7]Dimitrov AG，Lazar AA，Victor JD.神经科学中的信息论。计算机神经科学杂志2011;30（1）：1-5. http://dx.doi.org/10.1007/s10827-011-定义两个在开区间（0，1）上连续可微的函数f（0，1）R，qf（q）logjp q（j）和g（0， 1）R，q g（q）1 q，则雷尼熵为由H q给出f（q）。由于lim q→1f（q）0和lim q→1g（q）0，l'Hospital规则limHq= limf（q）0314-3[8]Amblard P-O，Michel OJ.有向资讯论与granger因果图。J Comput Neurosci2011;30（1）：7-16. http://dx.doi.org/10的网站。1007/s10827-010-0231-x。[9]刘伟，李晓，刘晓波，刘晓波.转移熵-神经科学有效连接的无模型测量。JComput Neurosci 2011;30（1）：45-67. http://dx.doi.org/10.1007/s10827-010-0262-3网站。[10]Borge-Holthoefer J，Perra N，Gonçalves B，González-Bailón S，Arenas A，q→1Jq→1g（q）f（q）′=lim′Moreno Y，Vespignani A.信息驱动协调现象的动力学：转移熵分析。Sci Adv2016;2（4）. e1501158. http://dx.doi.org/10.1126/sciadv.1501158网站。q→1g（q）（第一∑jpq（j）lnp（j）[11]Bossomaier T，Barnett L，Harr M，Lizier JT.传递熵导论：复杂系统中的信息流第一个ed..施普林格-国际出版社; 2016年，http://dx.doi.org/10.1007/978-3-319-43222-=q→1−ln 2∑j pq（j）9.=（−1）p（j）lnp（j）ln 2∑jp（j）[12]放大图片作者：Peter F，Zimmermann D. RTransferEntropy：测量时间序列之间信息流与Shannon和Renyi传递熵，R软件包0.2.7版。2018年，https://CRAN.R-project.org/package=RTransferEntropy。=−∑p（j）lnp（j）J[13]哈特利房车。 信息传输。 贝尔实验室技术J 1928;7（3）：53563.http://dx.doi.org/10.1002/j.1538-7305.1928.tb01236.x网站。[14个] 作者声明：Peter F.利用转移熵来度量信息流是-=−p（j）log p（j）= H J。■J引用[1]SchreiberT.测量信息转移PhysRevLett2000;85（2）：461-4. http://dx.doi.org/10.1103/PhysRevLett.85.461网站。[2]姚伟，王军。脑电信号的多尺度符号传递熵分析。Physica一2017;484：276-81. http://dx.doi.org/10.1016/j.physa.2017.04.181网站。[3]Oh M，Kim S，Lim K，Kim SY.用符号传递熵分析南极绕极波的时间序列。Physica A 2018. 网址：//dx.doi.org/10.1016/j.physa.2017.12.019网站。[4] 作者声明：Peter F.金融危机对跨大西洋信息流的影响：日内分析。J IntFinancMarketsInstitutionsMoney2014;31：1-13.http://dx.doi.org/10.1016/j.intfin.2014.03.004网站。[5]Lee J，Nemati S，Silva I，Edwards BA，Butler JP，Malhotra A.生物医学时间 序 列 的 转 移 熵 估 计 与 方 向 耦 合 变 化 检 测 。 Biomed Eng Online 2012;11（1）：19. http://dx.doi.org/10.1186/1475-925X-11-19.[6]郑亮，潘伟，李英，罗丹，王强，刘刚。利用交互信息和传递熵从心率变异性评 价 神 经 系 统 交 感 和 副 交 感 活 动 的 相 互 作 用 。 熵 2017;19 ： 489.http://dx.doi.org/10.3390/e19090489网站。金 融 市 场 之 间 。 Stud Nonlinear Dyn Econom 2013;17 （ 1 ） ： 85-102.http://dx.doi.org/10.1515/snde-2012-0044网站。[15] Shannon CE. 沟 通 的 数 学 理 论 。 Bell Labs Tech J 1948;27 ： 379-423.http://dx.doi.org/10.1002/j.1538-7305.1948.tb01338.x网站。[16] Kullback S，Leibler RA.关于信息和充足性。Ann Math Stat 1951;1：79-86.http://dx.doi.org/10.1214/aoms/1177729694网站。[17] 雷 尼 河 概 率 论 Amsterdam ： North-Holland;1970 ， http ： //dx.doi.org/10.1002/zamm.19710510718网站。[18] Jizba P ， Kleinert H ， Shefaat M. Renyi’s informatio
