AWS机器学习实践笔记：从理论到部署的全流程

资源摘要信息: "在AWS探索期间整理的笔记" **云计算与AWS基础** - **AWS**：亚马逊网络服务（Amazon Web Services）是全球领先的云服务提供商之一，提供各种云计算服务，包括计算、存储、数据库、分析、机器学习等。 - **Sagemaker**：AWS Sagemaker 是一个用于构建、训练和部署机器学习模型的服务。它让数据科学家和开发人员能够快速、简便地进行机器学习。 **机器学习主题** - **神经辐射场（NERF）**：NERF是一种用于创建和渲染三维场景的神经网络。它通过处理从场景中收集到的一系列二维图片，生成连续的三维空间表示，可以用于生成高质量的虚拟场景图像。 - **机器学习范式**：机器学习范式指的是机器学习的不同方法论和模型类型，如监督学习、非监督学习、半监督学习和强化学习。 - **ResNet**：残差网络（Residual Networks，简称ResNet）是一种深度卷积神经网络，它通过引入“跳过连接”解决深度网络训练中出现的梯度消失问题。 - **单发多盒检测器（SSD）**：SSD是一种用于目标检测的神经网络，它能在一个单次前向传播中预测多个边界框和类别概率，适用于实时应用。 **AWS机器学习工作流程** - **创建Sagemaker笔记本实例**：在AWS Sagemaker中创建一个用于机器学习的虚拟笔记本环境，配备必要的计算和存储资源，支持Jupyter笔记本。 - **创建Jupyter笔记本**：Jupyter笔记本是一个开源Web应用程序，允许用户创建和共享包含实时代码、方程式、可视化和文本的文档。 - **数据处理与准备**：这一步骤涉及到数据的收集、清洗、格式化，以及分割数据为训练集、测试集和验证集。 - **保存和上传数据**：处理后的数据通常会保存到本地存储，然后上传到Amazon S3（简单存储服务），这有助于数据备份和训练模型时的数据访问。 - **训练模型**：使用AWS Sagemaker服务中提供的容器、估计器和超参数设置训练机器学习模型。 - **测试和评估模型**：训练完毕后，通过在测试数据集上评估模型性能来测试模型的准确性。 - **模型部署与使用**：将训练好的模型部署为端点，使得可以实时发送数据对模型进行调用，评估结果。 - **清理资源**：完成任务后，应关闭或删除不再需要的AWS资源，以避免不必要的费用。 **机器学习术语** - **容器**：容器是一种轻量级、可移植、自给自足的软件打包方法，它允许代码及其运行时环境被打包为一个整体。 - **估计器**：在Sagemaker中，估计器是一个高层次的抽象，它定义了如何训练模型，包含算法的特定细节，如学习率、批量大小等。 - **超参数**：超参数是机器学习模型训练前设置的参数，它们不会在训练过程中学习和优化，而是根据经验或实验调整的参数。 此笔记反映了作者在探索AWS及其机器学习服务过程中所进行的实践和学习。通过这些笔记，我们可以了解到使用AWS进行机器学习工作时会涉及到的各种概念和技术细节。这些内容对于机器学习开发者和AWS使用者来说，具有很高的参考价值。