ML.NET中文文档：模型生成器与CLI工具入门

需积分: 3 33 浏览量更新于2024-07-08 收藏 7.15MB PDF 举报

"这份文档是ML.NET的中文介绍，涵盖了从基础到高级的各种主题，包括模型生成器、命令行界面、API以及多个教程示例，旨在帮助C#开发者理解和应用ML.NET技术。" ML.NET是Microsoft推出的一个开源机器学习框架，专为.NET开发者设计，使他们能够在自己的应用程序中集成智能功能。此框架支持多种机器学习任务，如分类、回归、聚类、推荐等，并提供了直观的工具和API来简化模型训练和部署。 **模型生成器和CLI**：模型生成器是Visual Studio的一个扩展，提供了一个图形用户界面，用于无代码或低代码方式创建机器学习模型。它利用自动机器学习（AutoML）技术，通过尝试不同的算法和参数组合来寻找最佳模型。用户可以导入数据，选择合适的任务类型，如预测价格（回归）、情感分析（二元分类）或图像分类，模型生成器会自动处理训练和评估过程。此外，CLI（命令行界面）允许开发者以命令行方式执行相同的功能，适用于自动化流程和非GUI环境。 **ML.NET API**： ML.NET API是框架的核心，提供了一系列类和方法供开发者构建和训练自定义机器学习模型。API涵盖数据加载、数据转换、训练、评估和模型部署等多个环节。例如，可以使用API加载数据集，进行预处理，选择合适的算法训练模型，然后使用交叉验证来评估模型性能。此外，还支持模型解释性分析，如特征重要性评估。 **教程和示例**：文档中包含了多个教程，涵盖了模型生成器和CLI的使用，以及不同机器学习任务的应用。如预测价格，分析情绪，对鸢尾花进行分类，推荐影片，图像分类等。这些实例有助于开发者快速上手，理解如何在实际项目中应用ML.NET。 **模型部署**：训练好的模型可以通过多种方式进行部署，包括Azure Functions和WebAPI，以实现服务化。此外，ML.NET还支持将模型转换为ONNX格式，这使得模型能在跨平台和跨框架的环境中使用，如与.NET for Apache Spark结合进行大规模预测。 **其他概念和资源**：文档还涵盖了ML.NET的任务类型，如二元分类、回归、聚类和推荐系统等；介绍了常用算法，如K平均值聚类和矩阵因子分解；以及数据转换和模型评估指标。此外，还提供了词汇表、Azure训练资源和CLI遥测等参考资料。这份ML.NET的中文文档是学习和实践.NET环境下机器学习的宝贵资料，无论对于初学者还是经验丰富的开发者，都能从中获得有价值的信息和实践经验。

using System;

using Microsoft.ML;

using Microsoft.ML.Data;

class Program

{

public class HouseData

{

public float Size { get; set; }

public float Price { get; set; }

}

public class Prediction

{

[ColumnName("Score")]

public float Price { get; set; }

}

static void Main(string[] args)

{

MLContext mlContext = new MLContext();

// 1. Import or create training data

HouseData[] houseData = {

new HouseData() { Size = 1.1F, Price = 1.2F },

new HouseData() { Size = 1.9F, Price = 2.3F },

new HouseData() { Size = 2.8F, Price = 3.0F },

new HouseData() { Size = 3.4F, Price = 3.7F } };

IDataView trainingData = mlContext.Data.LoadFromEnumerable(houseData);

// 2. Specify data preparation and model training pipeline

var pipeline = mlContext.Transforms.Concatenate("Features", new[] { "Size" })

.Append(mlContext.Regression.Trainers.Sdca(labelColumnName: "Price",

maximumNumberOfIterations: 100));

// 3. Train model

var model = pipeline.Fit(trainingData);

// 4. Make a prediction

var size = new HouseData() { Size = 2.5F };

var price = mlContext.Model.CreatePredictionEngine<HouseData, Prediction>(model).Predict(size);

Console.WriteLine($"Predicted price for size: {size.Size*1000} sq ft= {price.Price*100:C}k");

// Predicted price for size: 2500 sq ft= $261.98k

}

代码工作流

以下关系图表示应用程序代码结构，以及模型开发的迭代过程：

将训练数据收集并加载到 IDataViewIDataView 对象中

指定操作的管道，以提取特征并应用机器学习算法

通过在管道上调用 Fit()Fit() 来训练模型

评估模型并通过迭代进行改进

将模型保存为二进制格式，以便在应用程序中使用

将模型加载回 ITransformerITransformer 对象

通过调用 CreatePredictionEngine.Predict()CreatePredictionEngine.Predict() 进行预测

更复更复杂杂

数据准备

模型评估

HouseData[] testHouseData =

{

new HouseData() { Size = 1.1F, Price = 0.98F },

new HouseData() { Size = 1.9F, Price = 2.1F },

new HouseData() { Size = 2.8F, Price = 2.9F },

new HouseData() { Size = 3.4F, Price = 3.6F }

};

var testHouseDataView = mlContext.Data.LoadFromEnumerable(testHouseData);

var testPriceDataView = model.Transform(testHouseDataView);

var metrics = mlContext.Regression.Evaluate(testPriceDataView, labelColumnName: "Price");

Console.WriteLine($"R^2: {metrics.RSquared:0.##}");

Console.WriteLine($"RMS error: {metrics.RootMeanSquaredError:0.##}");

// R^2: 0.96

// RMS error: 0.19

ML.NET 体系结构

更复杂的模型使用事务文本描述将金融事务分类为类别。

通过删除冗余的字词和字符，以及对字词和字符组合进行计数，每个事务描述都被分解为一组特征。该特征集用

于基于训练数据中的类别集训练线性模型。新描述与训练集中的描述越相似，它就越有可能被分配到同一类别。

房屋价格模型和文本分类模型均为线线性性模型。根据数据的性质和要解决的问题，还可以使用决策决策树树模型、广广

义义加性加性模型和其他模型。可以在任务中找到有关模型的详细信息。

在大多数情况下，可用的数据不适合直接用于训练机器学习模型。需要准备或预处理原始数据，然后才能将其用

于查找模型的参数。数据可能需要从字符串值转换为数字表示形式。输入数据中可能会包含冗余信息。可能需

要缩小或放大输入数据的维度。数据可能需要进行规范化或缩放。

ML.NET 教程讲解用于特定机器学习任务的文本、图像、数字和时序数据的不同数据处理管道。

如何准备数据展示了如何更广泛地应用数据准备。

可以在“资源”部分找到所有可用转换的附录。

训练模型后，如何了解其进行未来预测的表现如何？借助 ML.NET，可以根据一些新的测试数据评估模型。

每种类型的机器学习任务都具有用于根据测试数据集评估模型的准确性和精确性的指标。

对于我们的房屋价格示例，我们使用了回回归归任务。若要评估模型，请将以下代码添加到原始示例中。

通过评估指标可得知错误率相当低，且预测输出和测试输出之间的相关性很高。这很简单！在实际示例中，需

要进行更多调整才能获得良好的模型指标。

在本部分中，我们将介绍 ML.NET 的体系结构模式。如果你是一位经验丰富的 .NET 开发人员，则你对其中一些

模式可能已经很熟悉，但对有些模式则不那么熟悉。集中精神，让我们开始深入探索！

ML.NET 应用程序从 MLContext 对象开始。此单一实例对象包含目目录录。目录是用于数据加载和保存、转换、训练

程序和模型操作组件的工厂。每个目录对象都具有创建不同类型的组件的方法：

生成管道生成管道

var pipeline = mlContext.Transforms.Concatenate("Features", new[] { "Size" })

.Append(mlContext.Regression.Trainers.Sdca(labelColumnName: "Price", maximumNumberOfIterations:

100));

定型模型定型模型

var model = pipeline.Fit(trainingData);

IDataView predictions = model.Transform(inputData);

使用模型使用模型

var size = new HouseData() { Size = 2.5F };

var predEngine = mlContext.CreatePredictionEngine<HouseData, Prediction>(model);

var price = predEngine.Predict(size);

数据模型和架构数据模型和架构

每个目录中都有一组扩展方法。让我们看看如何使用扩展方法创建训练管道。

在代码片段中， Concatenate 和 Sdca 均为目录中的方法。它们各创建一个追加到管道的 IEstimator 对象。

此时，仅创建对象。不进行任何执行操作。

在管道中创建对象后，即可使用数据来训练模型。

调用 Fit() 使用输入训练数据来估算模型的参数。这称为训练模型。请记住，上述线性回归模型有两个模型参

数：偏差偏差和权权重重。在 Fit() 调用后，参数的值是已知的。大部分模型拥有的参数比这多得多。

可以在如何训练模型中了解有关模型训练的详细信息。

生成的模型对象实现 ITransformer 接口。也就是说，模型将输入数据转换为预测。

可以将输入数据批量转换为预测，也可以一次转换一个输入。在房屋价格示例中，我们同时执行了两种操作：为

了评估模型而执行批量转换，以及为了进行新预测而执行单次转换。让我们进行单个预测。

CreatePredictionEngine() 方法接受一个输入类和一个输出类。字段名称和/或代码属性确定模型训练和预测期

间使用的数据列的名称。有关详细信息，请参阅使用经过训练的模型进行预测。

ML.NET 机器学习管道的核心是 DataView 对象。

管道中的每个转换都有一个输入架构（转换期望在其输入中看到的数据名称、类型和大小）；以及一个输出架构

（转换在转换后生成的数据名称、类型和大小）。

如果管道中一个转换的输出架构与下一个转换的输入架构不匹配，ML.NET 将引发异常。

剩余293页未读，继续阅读

liu_sl2005

粉丝: 40
资源: 24

ML.NET中文文档：模型生成器与CLI工具入门

【20211203】【英文】.NET documents.pdf

【20211203】【英文】.NET MAUI documents.pdf

【20211203】【英文】.NET IoT documents.pdf

(Wrox Professional C# 2012 and .NET 4.5.pdf

【20211203】【英文】Azure documents.pdf

Scanned Documents.pdf

Visual.Basic.2010.&.NET4.高级编程(第6版)全部实例代码

Rust language documents.pdf

vb.net OpenFileDialog.ShowDialog 多种实例代码和注释

vb.net SaveFileDialog.ShowDialog 多种实例代码和注释

最新资源