"计算机视觉算法与应用: 图像原理、处理、特征提取与3D重建"

需积分: 0 62 浏览量更新于2023-11-22 收藏 126.31MB PDF 举报

《计算机视觉算法与应用》是一本详细介绍计算机视觉基础知识和应用的英文版书籍，共分为15个章节。第一章对计算机视觉进行了简要介绍，随后分别从图像的形成、图像处理、特征检测与匹配、图像分割、基于特征的对齐、运动结构、密集运动估计、图像拼接、计算摄影、立体对应、3D重建、基于图像的渲染和图像识别等方面进行了详细讲解。该书力图加速世界研究的发展，为计算机视觉算法与应用的学习提供了深入的理论和实践知识。

Preface xv

3.7.3 Application: Image restoration . . . . . . . . . . . . . . . . . . . . . . . . 193

3.8 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

3.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

4 Feature detection and matching 207

4.1 Points and patches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

4.1.1 Feature detectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

4.1.2 Feature descriptors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224

4.1.3 Feature matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

4.1.4 Feature tracking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

4.1.5 Application: Performance-driven animation . . . . . . . . . . . . . . . . . 239

4.2 Edges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

4.2.1 Edge detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

4.2.2 Edge linking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247

4.2.3 Application: Edge editing and enhancement . . . . . . . . . . . . . . . . . 251

4.3 Lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252

4.3.1 Successive approximation . . . . . . . . . . . . . . . . . . . . . . . . . . 252

4.3.2 Hough transforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

4.3.3 Vanishing points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

4.3.4 Application: Rectangle detection . . . . . . . . . . . . . . . . . . . . . . . 259

4.4 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260

4.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

5 Segmentation 269

5.1 Active contours . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272

5.1.1 Snakes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272

5.1.2 Dynamic snakes and CONDENSATION . . . . . . . . . . . . . . . . . . . 278

5.1.3 Scissors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

5.1.4 Level Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283

5.1.5 Application: Contour tracking and rotoscoping . . . . . . . . . . . . . . . 284

5.2 Split and merge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286

5.2.1 Watershed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286

5.2.2 Region splitting (divisive clustering) . . . . . . . . . . . . . . . . . . . . . 288

5.2.3 Region merging (agglomerative clustering) . . . . . . . . . . . . . . . . . 288

5.2.4 Graph-based segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . 288

5.2.5 Probabilistic aggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

5.3 Mean shift and mode ﬁnding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291

xvi Computer Vision: Algorithms and Applications (August 5, 2010 draft)

5.3.1 K-means and mixtures of Gaussians . . . . . . . . . . . . . . . . . . . . . 291

5.3.2 Mean shift . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294

5.4 Normalized cuts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298

5.5 Graph cuts and energy-based methods . . . . . . . . . . . . . . . . . . . . . . . . 302

5.5.1 Application: Medical image segmentation . . . . . . . . . . . . . . . . . . 306

5.6 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306

5.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308

6 Feature-based alignment 311

6.1 2D and 3D feature-based alignment . . . . . . . . . . . . . . . . . . . . . . . . . 313

6.1.1 2D alignment using least squares . . . . . . . . . . . . . . . . . . . . . . . 314

6.1.2 Application: Panography . . . . . . . . . . . . . . . . . . . . . . . . . . . 316

6.1.3 Iterative algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317

6.1.4 Robust least squares and RANSAC . . . . . . . . . . . . . . . . . . . . . 320

6.1.5 3D alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322

6.2 Pose estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323

6.2.1 Linear algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323

6.2.2 Iterative algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

6.2.3 Application: Augmented reality . . . . . . . . . . . . . . . . . . . . . . . 328

6.3 Geometric intrinsic calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329

6.3.1 Calibration patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329

6.3.2 Vanishing points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331

6.3.3 Application: Single view metrology . . . . . . . . . . . . . . . . . . . . . 333

6.3.4 Rotational motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334

6.3.5 Radial distortion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

6.4 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338

6.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338

7 Structure from motion 345

7.1 Triangulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347

7.2 Two-frame structure from motion . . . . . . . . . . . . . . . . . . . . . . . . . . . 349

7.2.1 Projective (uncalibrated) reconstruction . . . . . . . . . . . . . . . . . . . 355

7.2.2 Self-calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

7.2.3 Application: View morphing . . . . . . . . . . . . . . . . . . . . . . . . . 359

7.3 Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359

7.3.1 Perspective and projective factorization . . . . . . . . . . . . . . . . . . . 362

7.3.2 Application: Sparse 3D model extraction . . . . . . . . . . . . . . . . . . 364

Preface xvii

7.4 Bundle adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365

7.4.1 Exploiting sparsity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366

7.4.2 Application: Match move and augmented reality . . . . . . . . . . . . . . 370

7.4.3 Uncertainty and ambiguities . . . . . . . . . . . . . . . . . . . . . . . . . 372

7.4.4 Application: Reconstruction from Internet photos . . . . . . . . . . . . . . 373

7.5 Constrained structure and motion . . . . . . . . . . . . . . . . . . . . . . . . . . . 375

7.5.1 Line-based techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376

7.5.2 Plane-based techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378

7.6 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379

7.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379

8 Dense motion estimation 383

8.1 Translational alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386

8.1.1 Hierarchical motion estimation . . . . . . . . . . . . . . . . . . . . . . . . 389

8.1.2 Fourier-based alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . 390

8.1.3 Incremental reﬁnement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394

8.2 Parametric motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400

8.2.1 Application: Video stabilization . . . . . . . . . . . . . . . . . . . . . . . 404

8.2.2 Learned motion models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405

8.3 Spline-based motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405

8.3.1 Application: Medical image registration . . . . . . . . . . . . . . . . . . . 409

8.4 Optical ﬂow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411

8.4.1 Multi-frame motion estimation . . . . . . . . . . . . . . . . . . . . . . . . 415

8.4.2 Application: Video denoising . . . . . . . . . . . . . . . . . . . . . . . . 416

8.4.3 Application: De-interlacing . . . . . . . . . . . . . . . . . . . . . . . . . 416

8.5 Layered motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417

8.5.1 Application: Frame interpolation . . . . . . . . . . . . . . . . . . . . . . . 420

8.5.2 Transparent layers and reﬂections . . . . . . . . . . . . . . . . . . . . . . 421

8.6 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423

8.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424

9 Image stitching 429

9.1 Motion models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432

9.1.1 Planar perspective motion . . . . . . . . . . . . . . . . . . . . . . . . . . 433

9.1.2 Application: Whiteboard and document scanning . . . . . . . . . . . . . . 434

9.1.3 Rotational panoramas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435

9.1.4 Gap closing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437

xviii Computer Vision: Algorithms and Applications (August 5, 2010 draft)

9.1.5 Application: Video summarization and compression . . . . . . . . . . . . 438

9.1.6 Cylindrical and spherical coordinates . . . . . . . . . . . . . . . . . . . . 440

9.2 Global alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443

9.2.1 Bundle adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443

9.2.2 Parallax removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447

9.2.3 Recognizing panoramas . . . . . . . . . . . . . . . . . . . . . . . . . . . 449

9.2.4 Direct vs. feature-based alignment . . . . . . . . . . . . . . . . . . . . . . 452

9.3 Compositing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452

9.3.1 Choosing a compositing surface . . . . . . . . . . . . . . . . . . . . . . . 453

9.3.2 Pixel selection and weighting (de-ghosting) . . . . . . . . . . . . . . . . . 455

9.3.3 Application: Photomontage . . . . . . . . . . . . . . . . . . . . . . . . . 460

9.3.4 Blending . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461

9.4 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464

9.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465

10 Computational photography 469

10.1 Photometric calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472

10.1.1 Radiometric response function . . . . . . . . . . . . . . . . . . . . . . . . 472

10.1.2 Noise level estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475

10.1.3 Vignetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476

10.1.4 Optical blur (spatial response) estimation . . . . . . . . . . . . . . . . . . 478

10.2 High dynamic range imaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481

10.2.1 Tone mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489

10.2.2 Application: Flash photography . . . . . . . . . . . . . . . . . . . . . . . 497

10.3 Super-resolution and blur removal . . . . . . . . . . . . . . . . . . . . . . . . . . 499

10.3.1 Color image demosaicing . . . . . . . . . . . . . . . . . . . . . . . . . . 504

10.3.2 Application: Colorization . . . . . . . . . . . . . . . . . . . . . . . . . . 506

10.4 Image matting and compositing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507

10.4.1 Blue screen matting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508

10.4.2 Natural image matting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511

10.4.3 Optimization-based matting . . . . . . . . . . . . . . . . . . . . . . . . . 514

10.4.4 Smoke, shadow, and ﬂash matting . . . . . . . . . . . . . . . . . . . . . . 518

10.4.5 Video matting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520

10.5 Texture analysis and synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520

10.5.1 Application: Hole ﬁlling and inpainting . . . . . . . . . . . . . . . . . . . 522

10.5.2 Application: Non-photorealistic rendering . . . . . . . . . . . . . . . . . . 523

10.6 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 526

Preface xix

10.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527

11 Stereo correspondence 535

11.1 Epipolar geometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539

11.1.1 Rectiﬁcation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540

11.1.2 Plane sweep . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542

11.2 Sparse correspondence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544

11.2.1 3D curves and proﬁles . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545

11.3 Dense correspondence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547

11.4 Local methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550

11.4.1 Sub-pixel estimation and uncertainty . . . . . . . . . . . . . . . . . . . . . 552

11.4.2 Application: Stereo-based head tracking . . . . . . . . . . . . . . . . . . . 553

11.5 Global optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554

11.5.1 Dynamic programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556

11.5.2 Segmentation-based techniques . . . . . . . . . . . . . . . . . . . . . . . 558

11.5.3 Application: Z-keying and background replacement . . . . . . . . . . . . . 560

11.6 Multi-view stereo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561

11.6.1 Volumetric and 3D surface reconstruction . . . . . . . . . . . . . . . . . . 564

11.6.2 Shape from silhouettes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569

11.7 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 572

11.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573

12 3D reconstruction 577

12.1 Shape from X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580

12.1.1 Shape from shading and photometric stereo . . . . . . . . . . . . . . . . . 580

12.1.2 Shape from texture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 582

12.1.3 Shape from focus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583

12.2 Active rangeﬁnding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585

12.2.1 Range data merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588

12.2.2 Application: Digital heritage . . . . . . . . . . . . . . . . . . . . . . . . . 591

12.3 Surface representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 592

12.3.1 Surface interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 592

12.3.2 Surface simpliﬁcation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 594

12.3.3 Geometry images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 594

12.4 Point-based representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595

12.5 Volumetric representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596

12.6 Model-based reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598

剩余989页未读，继续阅读

萧瑟的风

粉丝: 13
资源: 13

"计算机视觉算法与应用: 图像原理、处理、特征提取与3D重建"

智能系统参考库：计算机视觉在控制系统中的应用-4

探索计算机视觉：多尺度定向补丁的图像匹配算法

精选计算机科学与微积分英文原版书籍合集

OpenCV 2 计算机视觉编程手册(英文版)

《opencv2计算机视觉编程手册》英文版加随书源码

《机器人学、机器视觉与控制——MATLAB算法基础》英文版

算法导论-英文版

深度学习：方法与应用 英文版，主要介绍深度学习在各个领域上的应用

特征提取与图像处理第三版英文版：计算机视觉新知

开源计算机视觉库OpenCV（英文第2版）前七章概览

最新资源

深度学习：方法与应用英文版，主要介绍深度学习在各个领域上的应用