插图目录
IX
插图目录
图 1-1 敲击不同的数字按键时手机的角度旋转路径 ........................................................................ 3
图 1-2 TapLogger 的工作流程 .............................................................................................................. 4
图 2-1 iPhone 6s 内置传感器 ............................................................................................................... 8
图 2-2 加速度传感器的坐标系统 ....................................................................................................... 9
图 2-3 陀螺仪的坐标系统 ................................................................................................................... 9
图 2-4 方向传感器坐标系统 ............................................................................................................. 10
图 2-5 机器学习流程图 ..................................................................................................................... 12
图 2-6 支持向量机原理图 ................................................................................................................. 14
图 2-7 贷款还款能力的决策树实例.................................................................................................. 14
图 2-8 Sigmoid 函数 ............................................................................................................................ 16
图 2-9 随机森林算法示意图 ............................................................................................................. 16
图 3-1 在屏幕不同位置敲击造成手机位移示意图 .......................................................................... 19
图 3-2 按键过程中加速度传感器三个轴上的数据变化 .................................................................. 20
图 3-3 基于频域分析的按键推测通用框架整体架构图 ................................................................... 21
图 3-4 数据采集流程示意图 ............................................................................................................. 22
图 3-5 PIN 码样本长度统计直方图 ................................................................................................... 23
图 3-6 对加速度传感器数据进行三次样条插值的前后对比 .......................................................... 24
图 3-7 特征提取示意图 ..................................................................................................................... 25
图 3-8 偏度示意图 ............................................................................................................................. 26
图 3-9 峰度示意图 ............................................................................................................................. 27
图 3-10 Mel 频率与实际频率的映射图 ............................................................................................. 28
图 3-11 标准 MFCC 算法的主要流程............................................................................................... 29
图 3-12 改进 MFCC 算法的主要流程 .............................................................................................. 30
图 3-13 单个神经元结构 ................................................................................................................... 31
图 3-14 多层感知机结构 ................................................................................................................... 32
图 3-15 反向传播算法流程图 ........................................................................................................... 33
图 4-1 PIN 码推测原型系统架构图 ................................................................................................... 37
图 4-2 传感器数据采集系统架构图.................................................................................................. 39
图 4-3 传感器数据采集系统工作流程图 .......................................................................................... 39
图 4-4 Web 采集程序在手机上的运行效果 ...................................................................................... 40
图 4-5 Sensor Logger 与 Sensor Server 工作流程图 .......................................................................... 41
图 4-6 典型 Hybrid 应用程序架构 .................................................................................................... 46
图 4-7 典型 XSS 攻击模式 ................................................................................................................ 46
图 4-8 模拟恶意应用在微信中运行效果 .......................................................................................... 47
图 4-9 Scikit-Learn 算法地图 ............................................................................................................. 48
图 4-10 代码模块图示 ....................................................................................................................... 49
图 4-11 分类结果邮件图示 ................................................................................................................ 52
图 4-12 采集的动作传感器原始数据................................................................................................ 53
图 4-13 各分类算法的推测准确率对比 ............................................................................................ 54
图 4-14 多层感知机算法在不同手机下各按键的推测准确率 ........................................................ 54
图 4-15 使用不同标尺下提取的频域特征的准确率 ......................................................................... 56
图 4-16 预加重对准确率的影响 ........................................................................................................ 56
图 4-17 动态差分参数对推测准确率的影响 ..................................................................................... 56
图 4-18 提取系数对推测准确率的影响............................................................................................. 56
图 4-19 iPhone 6s 上各个按键的推测准确率 .................................................................................... 57
图 4-20 MI 3 上各个按键的推测准确率 ............................................................................................ 57
图 4-21 iPhone6s 各按键推测准确率分布示意图 ............................................................................ 58
图 4-22 以按键距离归类的推测概率分布 ......................................................................................... 58
图 4-23 多次推测尝试时正确率的变化............................................................................................. 58