没有合适的资源?快使用搜索试试~ 我知道了~
首页超级巨头的离网部署:七年分析与增长
超级巨头的离网部署:七年分析与增长
0 下载量 182 浏览量
更新于2024-06-19
收藏 3.76MB PDF 举报
"本文主要探讨了超级巨头(如谷歌、Netflix、Facebook和Akamai等)的离网部署现象,即这些公司在最终用户网络内部署服务和服务器,以改变互联网结构并提高内容分发效率。过去的研究通常依赖于特定的数据源或测量技术,无法全面了解这种离网部署的规模和影响。文章提出了一种新的通用且可实施的测量方法,通过分析端口443的TLS证书来揭示这些超级巨头的离网网络。 作者们发现,从2013年到2021年,托管超级巨头离网服务的网络数量增长了两倍,达到了4500多个。其中,最大的几个超级巨头,尤其是谷歌、Netflix、Facebook和Akamai,占据了这些部署的主导地位,许多网络同时为两个或更多的超级巨头提供离网服务。这些离网网络使这些公司能够更接近最终用户,减少延迟,提高服务质量。 文章中提到的关键概念包括网络测量、内容分发网络(CDN)、传输层安全(TLS)协议以及服务器部署策略。通过对全球互联网范围的扫描,研究人员能够收集到TLS证书信息,进一步识别出哪些IP地址与超级巨头的离网服务相关联。 此外,文章还指出,超级巨头加密其流量的趋势日益增强,这增加了测量的复杂性。然而,通过分析443端口的加密流量,可以获取关于离网服务的宝贵信息。这项研究对于理解互联网基础设施的变化、网络流量的动态以及内容分发策略的影响具有重要意义。 这篇论文提供了对超级巨头离网部署的深入洞察,揭示了这一趋势如何重塑互联网架构,并强调了测量和分析这些变化的重要性。这对于网络研究者、政策制定者以及那些关心互联网基础设施演进的人来说,都是极其有价值的信息。"
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/88492362/bg5.jpg)
超巨星离网七年
SIGCOMM
520
Hypergiant
头名称
标头值
记录
Akamai
服务器
Akamai GHost
有
[5]
Cloudflare
谷歌
Facebook
CF
请求
ID
服
务器
X-FB-X-FB
gws*
有
[31]
已披露
[49
,
59]
有
[39]
表1:用于标识HG服务器的报头的示例。空标头值表示仅使用标头
名称进行匹配。以
*
结尾的前缀表示前缀匹配。
这一步的自动化为今后的工作。 对于最常出现的环标头,
HG
特
定标头很容易
从唯一标头名称或包含超巨星缩写
名称的值中识
别。在近
80%
的情况下,我们发现公共文档或披露证实了
HGs
使
用这些表
1
显示了几个示例,附录
A.5
提供了完整的列表。 我们还
通过对内容的
独立测试(
例如,
google.com)。一个有趣的案
例是Netflix,因为我们发现它的一小部分
服务器使用默认的
ngnix
头进行响应。 对于我们的分析,我们将具有
Netflix
证书和
默认
ngnix
HTTP(S)头的服务器视为Netflix离线。
4.5
使用
HTTP
(
S
)
我们将这些
HTTP
(
S
)头指纹应用于第
4.3
节中的网外候选
人,并
将任何匹配Hypergiant指纹的人分类为网外
。 要将
IP
分配给
AS
,我们使用附录
A.1
中描述的标准
IP
到
AS
映射技术。 我们还对
HGs
的网内和网外进行了注释,如附录
A.2
所述。
4.6 数据集
证书数据集。
Rapid7
在端口443上收集 IPv4范围扫描中观察到
的X.509证书[67]。我们使用的数据集从10月开始每三个月
2013年4月2021年,其中包括
127
,
812
,
006
个唯一证书。我们从
11
月开始
使用Censys [36]的端口443扫描进行补充。2019年4月
2021年我们排除了无法转换为X.509格式的证书以及缺少关键
信息的证书。
HTTP
(
S
)头。
我们使用的语料库可用的
HTTP
(
S
)头
从
Rapid7从10月。2013年4月2021年
超巨星列表 我们使用先前
发布的调查
[18
,
19
,
32
,
64
,
112]
编
制了一份
HGs
列表,然后选择
23
个在其网站上声称拥有
CDN
的
HGs
,并且我们能够识别
具有匹配组织的证书。检查的HG:
Akamai
、阿里巴巴、亚马逊、苹果、
Bamtech
、
Highwinds
、
CDN 77
、
Cachefly
、
Cdnetworks
、
Chinacache
、
Cloudflare
、迪
士尼、
Facebook
、
Fastly
、谷歌、
Hulu
、
Incapsula
、
Limelight
、微
软、
Netflix
、
Twit-
ter、Verizon和雅虎。
5 验证
我们发现我们的扫描和测量技术是准确的,然后根据超巨星的信
息
和早期方法的结果验证我们的结果,发现我们的结果是可
信的。
扫描语料库的比较我 们 论文中的大多数结果都依赖于Rapid7
扫描,因此我们首先评估了它
与
Censys
和我们进行的主动扫描
(
11
月
11
日)相比的完整性。
21-25
,
2019
)的整个公共可路由的非
bogon IPv4
地址空间
的SSL/TLS证书
端口443。 我们使用修改后的证书工具[97]来与服务器执行TLS
握手
以获取它们的证书。 我们的扫描获取了
13
,
156
,
080
个唯一
的最终
实体证书。
表
2
比较了
2019
年
11
月的扫描和
Rapid7
和
Censys
扫描
Rapid7
和
Censys
中具有证书的
IP
地址数量
非常相似。然而,我们的认证
扫描
发现了大约
20%
的地址,我们将其归因于两个原因。
首先,
Rapid7
和
Censys
都必须对投诉做出回应,并
从扫描中删除IP地
址[12,29,110]。由于两次扫描都已运行多年,随着时间的
推移,更多的地址空间被排除在外
造成这种差异的第二个原因
是,我们的扫描几乎花了四天的时间来执行,这可能比其他更
快
的扫描触发更少的速率限制。
然而,当我们将注意力转向托管至少一个HG的AS总数时
(第6列),所有
三个数据集的数字非常相似,因为它们是最后四
列中报告的足迹最大的四个超级巨头
(
Google
,
Netflix
,
Facebook
和
Akamai
)
。另一个观察结果是,
每个HG的IP地址的数量与相应
HG的网外的大小或
分布
无关,因为每个HG在如何将IP分配给
服务器方面具有不同的策略[ 42 ])。我们已经
确认,一些
HG
只有几个前端
IP
地址用于多个服务器,而另一些
HG
则有多个
IP
地址用于一个
服务器。例如,在我们的主动扫描(11月。2019
年 ) , 我 们
从
1
,
708
个 离 网
AS
的
33
,
769
个
IP
地 址 中 收 集 了
Facebook
证书。
在同一活动中,我们从更多的
IP
地址(
105
,
686
)收集了
Akamai
证书,尽管
Akamai
的离网足迹较小,有
1
,
194
个离
网
AS
。因此,在本文的其余部分,我们
将重点关注每个Hypergiant
的离线AS足迹。
伦理考量。在我们的扫描中,我们仍然是
“
好互联网公民
”
,遵循
最佳实践
[37]
,以避免触发任何形式的警报。我们维护一个黑名单,
并使用适当的
rDNS
名称,网站和滥用联系人的客户端因此,这项
工作不会引起任何道德问题。
主动测量验证。
我们提供了额外的验证我们的推断使用主动测
量。 为了实现
这一点,我们使用ZGrab2 [115]工具,它提供了
快速
捕获
HTTP
(
S
)横幅,包括
HTTP
头和
TLS
证书验证。 我们
提供了一个(
IP
地址,域)对的输入列表,
ZGrab2
在对默认文档执
行
GET
请求时正确地设置了
HTTP
主机头和
TLS SNI
字段
。
在这个分析中,我们断言,如果我们正确地推断出一个服务器
是 一 个特 定 的
Hypergiant
的 离 网 服 务 器 , 它 不应 该 服 务
于
Hypergiant
没有托管的域的请求(即,
TLS
验证
应该失败)。 为了
测试这一点,对于我们推断为
特定Hypergiant的网外IP地址,
我们随机选择10个其他Hypergiant,并为每个Hypergiant扫
描请求其他Hypergiant服务
的
50
个最受欢迎域名之一的
IP
地址。
令人惊讶的是,我们发现,只有
89.7%
的推断出的网外没有验证
随机选择的域。在
10.3%
正确验证的请求中,我们推断
97%
属于
Akamai
,并且请求域(
LinkedIn
,
KDDI
,
Disney
)也由第三方
CDN
(如
Akamai
)提供服务这一结果凸显了理解内容交付的挑
战
剩余22页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 新型矿用本安直流稳压电源设计:双重保护电路
- 煤矿掘进工作面安全因素研究:结构方程模型
- 利用同位素位移探测原子内部新型力
- 钻锚机钻臂动力学仿真分析与优化
- 钻孔成像技术在巷道松动圈检测与支护设计中的应用
- 极化与非极化ep碰撞中J/ψ的Sivers与cos2φ效应:理论分析与COMPASS验证
- 新疆矿区1200m深孔钻探关键技术与实践
- 建筑行业事故预防:综合动态事故致因理论的应用
- 北斗卫星监测系统在电网塔形实时监控中的应用
- 煤层气羽状水平井数值模拟:交替隐式算法的应用
- 开放字符串T对偶与双空间坐标变换
- 煤矿瓦斯抽采半径测定新方法——瓦斯储量法
- 大倾角大采高工作面设备稳定与安全控制关键技术
- 超标违规背景下的热波动影响分析
- 中国煤矿选煤设计进展与挑战:历史、现状与未来发展
- 反演技术与RBF神经网络在移动机器人控制中的应用
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)