计算机视觉：算法与应用概览

计算机视觉

需积分: 10 167 浏览量更新于2024-07-19 收藏 25.52MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

"《计算机视觉：算法与应用》 Richard Szeliski" 本书《计算机视觉：算法与应用》由Richard Szeliski撰写，是一部深入探讨计算机视觉领域的专著。书中详细介绍了计算机视觉的各种核心概念和技术，旨在为读者提供一个全面的理解框架。以下是书中的主要章节概览： 1. **介绍**：这一章为读者提供了计算机视觉的基本概述，讨论了该领域的重要性、历史发展以及与其他领域的交叉关系。 2. **图像形成**：这部分内容详细阐述了图像的形成过程，包括光学成像、相机模型、图像传感器的工作原理以及与成像相关的几何和物理特性。 3. **图像处理**：涵盖了图像预处理技术，如增强、降噪、直方图均衡化以及色彩空间转换，这些是图像分析的基础。 4. **特征检测与匹配**：介绍了如何在图像中识别关键特征（如边缘、角点），并讨论了特征之间的匹配算法，这对于图像配准和物体识别至关重要。 5. **分割**：讲解了图像分割技术，包括基于阈值、区域生长、边缘检测和图割等方法，用于区分图像中的不同对象或区域。 6. **基于特征的对齐**：讨论了如何利用特征点来实现图像对齐和注册，这对于多视图几何和3D重建非常关键。 7. **运动结构恢复**（Structure from Motion, SfM）：讲述了通过多个视图的图像序列恢复场景3D结构的技术，包括摄像机姿态估计和点云构建。 8. **稠密运动估计**：介绍了光流法和其他方法，用于计算图像序列中每个像素的运动轨迹，常用于视频分析和运动追踪。 9. **图像拼接**：讲解了将多张图像融合成全景图像的过程，涉及图像变换、曝光补偿和无缝拼接技术。 10. **计算摄影学**：涵盖了一种利用计算机处理来增强或改变传统摄影效果的新兴领域，如高动态范围（HDR）图像、光照映射和深度合成。 11. **立体对应**：介绍了在两幅或多幅图像之间寻找对应像素以确定深度信息的方法，是立体视觉和3D重建的基础。 12. **三维重建**：讨论了从二维图像数据构建三维模型的多种技术，包括基于特征的和基于深度的重建方法。 13. **基于图像的渲染**：探讨了如何使用多视角图像来模拟光照、阴影和材质，创建逼真的虚拟视图。 14. **识别**：涵盖了物体识别、分类和检测的算法，包括支持向量机（SVM）、深度学习模型等。 15. **结论**：总结了全书的主要内容，并对计算机视觉未来的发展方向进行了展望。这本书是计算机视觉研究者和从业者的重要参考资源，它系统地介绍了从基础理论到实际应用的广泛知识，对于想要深入了解和应用计算机视觉技术的人来说极具价值。

资源详情

资源推荐

xvi Computer Vision: Algorithms and Applications (May 17, 2010 draft)

5.5.1 Application: Medical image segmentation . . . . . . . . . . . . . . . . . . 303

5.6 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

5.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306

6 Feature-based alignment 309

6.1 2D and 3D feature-based alignment . . . . . . . . . . . . . . . . . . . . . . . . . 311

6.1.1 2D alignment using least squares . . . . . . . . . . . . . . . . . . . . . . . 312

6.1.2 Application: Panography . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

6.1.3 Iterative algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315

6.1.4 Robust least squares and RANSAC . . . . . . . . . . . . . . . . . . . . . 318

6.1.5 3D alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320

6.2 Pose estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321

6.2.1 Linear algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321

6.2.2 Iterative algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

6.2.3 Application: Augmented reality . . . . . . . . . . . . . . . . . . . . . . . 325

6.3 Geometric intrinsic calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

6.3.1 Calibration patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327

6.3.2 Vanishing points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329

6.3.3 Application: Single view metrology . . . . . . . . . . . . . . . . . . . . . 330

6.3.4 Rotational motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331

6.3.5 Radial distortion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334

6.4 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335

6.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

7 Structure from motion 343

7.1 Triangulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345

7.2 Two-frame structure from motion . . . . . . . . . . . . . . . . . . . . . . . . . . . 347

7.2.1 Projective (uncalibrated) reconstruction . . . . . . . . . . . . . . . . . . . 353

7.2.2 Self-calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354

7.2.3 Application: View morphing . . . . . . . . . . . . . . . . . . . . . . . . . 357

7.3 Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

7.3.1 Perspective and projective factorization . . . . . . . . . . . . . . . . . . . 360

7.3.2 Application: Sparse 3D model extraction . . . . . . . . . . . . . . . . . . 361

7.4 Bundle adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362

7.4.1 Exploiting sparsity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364

7.4.2 Application: Match move and augmented reality . . . . . . . . . . . . . . 367

7.4.3 Uncertainty and ambiguities . . . . . . . . . . . . . . . . . . . . . . . . . 369

Preface xvii

7.4.4 Application: Reconstruction from Internet photos . . . . . . . . . . . . . . 370

7.5 Constrained structure and motion . . . . . . . . . . . . . . . . . . . . . . . . . . . 373

7.5.1 Line-based techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374

7.5.2 Plane-based techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375

7.6 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376

7.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377

8 Dense motion estimation 381

8.1 Translational alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384

8.1.1 Hierarchical motion estimation . . . . . . . . . . . . . . . . . . . . . . . . 387

8.1.2 Fourier-based alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

8.1.3 Incremental reﬁnement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392

8.2 Parametric motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398

8.2.1 Application: Video stabilization . . . . . . . . . . . . . . . . . . . . . . . 402

8.2.2 Learned motion models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403

8.3 Spline-based motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403

8.3.1 Application: Medical image registration . . . . . . . . . . . . . . . . . . . 407

8.4 Optical ﬂow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408

8.4.1 Multi-frame motion estimation . . . . . . . . . . . . . . . . . . . . . . . . 413

8.4.2 Application: Video denoising . . . . . . . . . . . . . . . . . . . . . . . . 414

8.4.3 Application: De-interlacing . . . . . . . . . . . . . . . . . . . . . . . . . 414

8.5 Layered motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415

8.5.1 Application: Frame interpolation . . . . . . . . . . . . . . . . . . . . . . . 418

8.5.2 Transparent layers and reﬂections . . . . . . . . . . . . . . . . . . . . . . 418

8.6 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420

8.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

9 Image stitching 427

9.1 Motion models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430

9.1.1 Planar perspective motion . . . . . . . . . . . . . . . . . . . . . . . . . . 431

9.1.2 Application: Whiteboard and document scanning . . . . . . . . . . . . . . 432

9.1.3 Rotational panoramas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

9.1.4 Application: Video summarization and compression . . . . . . . . . . . . 436

9.1.5 Cylindrical and spherical coordinates . . . . . . . . . . . . . . . . . . . . 438

9.2 Global alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441

9.2.1 Bundle adjustment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441

9.2.2 Parallax removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445

xviii Computer Vision: Algorithms and Applications (May 17, 2010 draft)

9.2.3 Recognizing panoramas . . . . . . . . . . . . . . . . . . . . . . . . . . . 447

9.2.4 Direct vs. feature-based alignment . . . . . . . . . . . . . . . . . . . . . . 447

9.3 Compositing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450

9.3.1 Choosing a compositing surface . . . . . . . . . . . . . . . . . . . . . . . 451

9.3.2 Pixel selection and weighting (de-ghosting) . . . . . . . . . . . . . . . . . 453

9.3.3 Application: Photomontage . . . . . . . . . . . . . . . . . . . . . . . . . 458

9.3.4 Blending . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459

9.4 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462

9.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462

10 Computational photography 465

10.1 Photometric calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468

10.1.1 Radiometric response function . . . . . . . . . . . . . . . . . . . . . . . . 468

10.1.2 Vignetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472

10.1.3 Optical blur (spatial response estimation) . . . . . . . . . . . . . . . . . . 474

10.2 High dynamic range imaging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477

10.2.1 Tone mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485

10.2.2 Application: Flash photography . . . . . . . . . . . . . . . . . . . . . . . 492

10.3 Super-resolution and blur removal . . . . . . . . . . . . . . . . . . . . . . . . . . 494

10.3.1 Color image demosaicing . . . . . . . . . . . . . . . . . . . . . . . . . . 499

10.3.2 Application: Colorization . . . . . . . . . . . . . . . . . . . . . . . . . . 501

10.4 Image matting and compositing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502

10.4.1 Blue screen matting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503

10.4.2 Natural image matting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506

10.4.3 Optimization-based matting . . . . . . . . . . . . . . . . . . . . . . . . . 509

10.4.4 Smoke, shadow, and ﬂash matting . . . . . . . . . . . . . . . . . . . . . . 513

10.4.5 Video matting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515

10.5 Texture analysis and synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515

10.5.1 Application: Hole ﬁlling and inpainting . . . . . . . . . . . . . . . . . . . 517

10.5.2 Application: Non-photorealistic rendering . . . . . . . . . . . . . . . . . . 518

10.6 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 521

10.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522

11 Stereo correspondence 529

11.1 Epipolar geometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533

11.1.1 Rectiﬁcation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534

11.1.2 Plane sweep . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536

Preface xix

11.2 Sparse correspondence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 538

11.2.1 3D curves and proﬁles . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539

11.3 Dense correspondence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541

11.3.1 Similarity measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542

11.4 Local methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543

11.4.1 Sub-pixel estimation and uncertainty . . . . . . . . . . . . . . . . . . . . . 545

11.4.2 Application: Stereo-based head tracking . . . . . . . . . . . . . . . . . . . 546

11.5 Global optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548

11.5.1 Dynamic programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550

11.5.2 Segmentation-based techniques . . . . . . . . . . . . . . . . . . . . . . . 552

11.5.3 Application: Z-keying and background replacement . . . . . . . . . . . . . 553

11.6 Multi-view stereo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554

11.6.1 Volumetric and 3D surface reconstruction . . . . . . . . . . . . . . . . . . 557

11.6.2 Shape from silhouettes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563

11.7 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564

11.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 566

12 3D reconstruction 571

12.1 Shape from X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 574

12.1.1 Shape from shading and photometric stereo . . . . . . . . . . . . . . . . . 574

12.1.2 Shape from texture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576

12.1.3 Shape from focus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577

12.2 Active rangeﬁnding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579

12.2.1 Range data merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 582

12.2.2 Application: Digital heritage . . . . . . . . . . . . . . . . . . . . . . . . . 584

12.3 Surface representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585

12.3.1 Surface interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586

12.3.2 Surface simpliﬁcation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588

12.3.3 Geometry images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588

12.4 Point-based representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589

12.5 Volumetric representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590

12.5.1 Implicit surfaces and level sets . . . . . . . . . . . . . . . . . . . . . . . . 590

12.6 Model-based reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591

12.6.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 592

12.6.2 Heads and faces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 595

12.6.3 Application: Facial animation . . . . . . . . . . . . . . . . . . . . . . . . 596

12.6.4 Whole body modeling and tracking . . . . . . . . . . . . . . . . . . . . . 599

xx Computer Vision: Algorithms and Applications (May 17, 2010 draft)

12.7 Recovering texture maps and albedos . . . . . . . . . . . . . . . . . . . . . . . . 604

12.7.1 Estimating BRDFs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 605

12.7.2 Application: 3D photography . . . . . . . . . . . . . . . . . . . . . . . . 607

12.8 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607

12.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609

13 Image-based rendering 613

13.1 View interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615

13.1.1 View-dependent texture maps . . . . . . . . . . . . . . . . . . . . . . . . 617

13.1.2 Application: Photo Tourism . . . . . . . . . . . . . . . . . . . . . . . . . 618

13.2 Layered depth images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 620

13.2.1 Impostors, sprites, and layers . . . . . . . . . . . . . . . . . . . . . . . . . 620

13.3 Light ﬁelds and Lumigraphs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622

13.3.1 Unstructured Lumigraph . . . . . . . . . . . . . . . . . . . . . . . . . . . 625

13.3.2 Surface light ﬁelds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626

13.3.3 Application: Concentric mosaics . . . . . . . . . . . . . . . . . . . . . . . 627

13.4 Environment mattes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 628

13.4.1 Higher dimensional light ﬁelds . . . . . . . . . . . . . . . . . . . . . . . . 630

13.4.2 The modeling / rendering continuum . . . . . . . . . . . . . . . . . . . . . 630

13.5 Video-based rendering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631

13.5.1 Video-based animation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632

13.5.2 Video textures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633

13.5.3 Application: Animating pictures . . . . . . . . . . . . . . . . . . . . . . . 636

13.5.4 3D Video . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637

13.5.5 Application: Video-based walkthroughs . . . . . . . . . . . . . . . . . . . 639

13.6 Additional reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 642

13.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643

14 Recognition 649

14.1 Object detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 652

14.1.1 Face detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 652

14.1.2 Pedestrian detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 658

14.2 Face recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 662

14.2.1 Eigenfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665

14.2.2 Active appearance and 3D shape models . . . . . . . . . . . . . . . . . . . 673

14.2.3 Application: Personal photo collections . . . . . . . . . . . . . . . . . . . 677

14.3 Instance recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678

剩余978页未读，继续阅读

LeoNewYoung

粉丝: 1
资源: 3

计算机视觉：算法与应用概览

Computer Vision Algorithms and Applications.pdf

computer vision algorithms and applications

computer vision: algorithms and applications pdf

vs opencv python

labview Vision Utilities

我想学习计算机视觉 帮我推荐几本书籍

计算机视觉的入门书籍

学习基于深度学习的图像特征提取可以参考那些文献或者资料

计算机视觉与图像处理相关书籍

opencv搭建环境的书籍资料

关于机器视觉的外语参考文献

high resolution image object detection

列举10个与计算机视觉相关的参考文献

近五年出版的关于图像处理的书籍（列举出出版地，出版社，作者）

有没有关于上述方法的参考资料

人脸识别opencv参考文献

opencv python

推荐几本最经典的三维重建书

我想学习NeRF和位姿估计，你有什么书推荐给我

Java项目-基于微信小程序的学生选课系统（包括源码，数据库，教程）.zip

最新资源

我想学习计算机视觉帮我推荐几本书籍