任务驱动的表征学习：解决实际预测问题的机器学习算法

以任务为导向的表征学习波琳·沃基耶引用此版本：波琳·沃基耶。以任务为导向的表征学习。其他[cs.OH]。戴高乐大学-里尔三世，2017年。法语。NNT：2017LIL30005。电话：01622153HAL ID：电话：01622153https://theses.hal.science/tel-01622153提交日期：2017年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire李e计算机科学、Signa和自动化博士学校ED072 "工程科学任务驱动表征学习论文编写人波琳·沃基耶为了里尔大学博士领域：信息学2017年5月29日支持里尔计算机科学、信号和自动化研究中心（CRISTAL - UMRCNRS9189）评审团组成DenoyerLudovic皮埃尔和玛丽大学教授居里FromontElisa Saint大学计算机科学HDR讲师艾蒂安审查员报告JourdanLaetitia里尔大学教授1名VI ennetEmmanuel巴黎大学教授KeLL erMikaela里尔大学讲师3审查员、联合主任TommasIMarc里尔第三大学教授联合主任GrI goLA toFrédérique Clic and Walk的导演嘉宾i论文：自适应地学习一个图形使我们能够更有效地解决半监督任务。机器学习提出了许多算法来解决可以从现实世界预测问题中提取的不同任务。为了解决不同的相关任务，大多数机器学习算法依赖于实例之间的关系。成对实例关系可以通过计算实例的向量表示之间的距离来获得。考虑到数据的可用向量表示，保证没有一个常用的距离能代表要解决的任务。在本文中，我们研究了调整数据的向量表示以更优化地求解任务的增益我们更特别地关注[Zhu和Ghahramani，2002]中引入的用于分类任务的基于图的算法首先介绍了一种用于学习表示空间中的数据映射的算法，该算法允许基于图的最优分类。通过将数据投影到预定义距离代表任务的表示空间中，我们能够在求解任务时超越数据的初始向量表示对所引入的算法进行了理论分析，以确定确保最优分类的条件。一系列的实证实验使我们能够评估所引入的方法的收益，并缓和理论分析。已经提出了许多机器学习算法来解决可以从来自真实环境的预测问题中提取的不同任务。 为了解决可以提取的不同任务，大多数机器学习算法以这样或那样的方式依赖于实例之间的关系。实例对之间的关系基于数据的矢量表示，没有一个常用的距离能保证代表在本文中，我们研究了使数据更具体地说，我们关注[Zhu和Ghahramani，2002]中引入的算法，该算法基于图来首先，我们描述了一种算法，该算法学习数据在表示空间中的投影，以实现基于图的分类的最佳分辨率。通过将数据投影到一个表示空间中，在该表示空间中，预先定义的距离ii求解任务时数据的矢量表示对所描述的算法进行了理论分析，以确定确保最佳分类的条件。一系列的实验最终使我们能够评估所引入的方法的价值，并对理论分析进行细致入微的分析。iii内容。1引言12半监督机器学习82.1从现实世界问题到机器学习任务2.2监管分类112.3半监督分类................................................................................................. 122.4度量学习表示学习143基于图的半监督学习213.1图形表示213.2图形构造方法233.3基于图的半监督算法................................................................................. 283.4图形结构相关性354基于图形的标签传播的度量驱动表示学习4.1基于图的分类的表示学习4.2约束表示空间学习404.3非线性神经网络学习434.4基于图形的分类504.5相关工作515分类错误53的边界5.1动机535.2理论保证605.3证明646实证分析706.1MDRL- 基于三元组的神经网络学习6.2数据集726.3比较设置796.4表征学习816.5理论假设的实证评价856.6标签传播分类评估89iv6.7我们需要图表吗？.............................................................................. 927未来工作的结论7.1结论977.2开放式问题987.3点击和步行案例研究1011第一章简介本论文是与Clic and Walk初创公司（CIFRE Industrial Agreement）合作完成的，该公司是一家为其他公司进行市场调查并收集客户意见的公司。根据公司的要求，由一组问题和图片组成的任务被发送给点击和步行用户，他们因回答而获得报酬。时间和成本限制导致需要更好的政策来向用户分配任务在论文过程中，我有机会进行理论研究，希望在公司的框架内部署用户推荐。下面的工作介绍了在本论文中进行的关于任务驱动表征学习的理论研究。通过从数据集预测信息，可以解决各种现实世界为了说明的目的，让我们考虑一个商业网站和一些相关的营销问题。让我们假设，一旦注册，客户可以购买和评级的许多产品，可在网站上。商业网站的员工可以访问其客户的个人资料、评级和购买协议。为了增加交易数量，员工希望鼓励客户购买更多商品。他们需要向客户提供可供购买的产品。特定客户对某个项目的兴趣需要根据可用信息进行预测，即客户和项目的配置文件另一个营销改进是能够根据客户概况或其购买记录对客户集进行细分。商业网站的最后一个问题，将被强调是预算预测。客户可能在网站上花费的金额需要根据其配置文件进行预测。在可以从现实中提取的不同预测任务中2世界问题，让我们引用：分类：问题是将标签与每个实例相关联（例如，客户对项目的兴趣回归：必须与每个实例相关联的连续值（例如，客户的支出）集群：目标是定义实例集的划分（例如市场细分）所引入的预测问题可以通过要求域专家分析所收集的数据来解决，以便检测模式例如，商业网站可以雇用某人来创建项目和客户信息之间的关联。手动创建每个关联是多么耗时和昂贵，因为网站需要有人来处理不断增长的项目和客户。根据用户和项目信息自动预测用户对项目的兴趣是商业网站更有利可图的解决方案考虑到一组客户的支出预测问题，每个客户的前几年支出以及他或她的个人资料应该由一个专门的员工进行分析，以预测下一年的支出。能够根据客户的配置文件、购买记录和其他客户自动预测客户将花费的金额将是比手动解决任务更好的解决方案。手动定义规则和发现模式不仅耗时，而且成本高昂。它也可能太复杂，一个人无法完成。值得注意的是，由于数据量和复杂性，一些问题太难用手最佳地解决。手动解决营销细分问题需要有人探索和分析一组用户的行为和信息，以便提取组。由于客户的数量和与每个用户相关的变量，市场细分问题很快变得过于复杂。机器学习算法提供了几种方法来解决所引入的几个问题。机器学习方法有效解决现实世界任务它们是为根据输入数据集自动解决任务而开发的，在学习过程中不需要专家的审查。数据集是使机器学习算法能够解决任务的信息集。数据集通常由算法在解决任务时从中学习或学习的一组实例组成在数据收集过程中，有时会提供其他信息。实例的任务相关标签可能可用···3在数据创建过程中或可能已由专家提出喜欢为特定任务预测的标签可能对某些实例可分配。例如，商业网站可以访问其客户在过去几年中购买的一组项目，并且可以容易地计算客户花费的钱。对于项目推荐问题，可以根据客户的购买记录，诱导客户对他们已经标记或购买的项目感兴趣算法可以利用这种额外训练的存在。根据机器学习算法是否利用了可用的附加信息，它们可以分为不同的类别。让我们强调以下几点：监督学习：标签与培训时间可用的每个数据集实例相关联。受监督的AIM算法学习一个模型，该模型可以预测从同一发行版生成的任何实例的标签。半监督学习：半监督算法由一组标记实例和一组未标记实例组成的数据。半监督算法利用整组实例（标记的和未标记的一个）来预测从同一分布中绘制的任何实例的标签无监督学习：从一组未标记的实例中训练无监督算法。他们确实学习了一个基于整个培训的视觉表示的模型，而没有任何标签。仅基于数据的分布和向量表示-感知来解决任务机器学习算法被应用于数据集，以便学习模型或提取所需的信息。首先需要从问题的真实世界背景中收集数据，以解决任务。例如，与各种问题相关的真实世界数据可以是客户、在其注册过程中收集的信息或其购买记录。大多数机器学习算法都期望数据的矢量表示应用机器学习算法需要将真实世界数据的建模定义为描述向量。考虑到预测每个客户的费用的问题，可以使用客户的登记和购买记录信息来解决该任务。例如，数据的矢量表示可以由年龄、性别、老年、头发颜色、前一年的支出或客户居住的城市组成。可以从真实世界数据中提取的不同特征具有不同的类型。矢量···4数据集的表示可以由连续和离散特征组成。例如，客户的上一年费用信息是一个正数，因此是一个连续的特征。其他属性是离散的，例如客户的年龄或分类特征（如客户的性别）的数字变换。在现实世界环境中可用的几个属性中，有些可能对解决任务毫无用处。例如，在解决费用预测任务时，可以忽略客户的头发颜色必须首先选择将组成数据集向量表示的属性集。在选定的功能中，有些是分类信息。在我们的示例中，客户的性别及其邮政编码是两种分类信息。分类信息在向量表示中很难直接因此，它既需要表示为连续的特征，也需要表示为离散的特征。可能会要求专家根据可用的信息提出数据的矢量表示可以基于专家所做的几个选择来计算数据集的数字向量表示算法的结果取决于应用该算法的向量表示，并且对于数据的不同可用向量表示可以变化因此，数据集的矢量建模是解决目标任务的重要步骤。大多数机器学习算法计算数据的向量表示之间的距离或相似性几个一般的距离和相似性已经被经典地定义并且被普遍使用。对于这项工作的剩余部分，让我们关注距离。然而，应该指出的是，关于相似性的等价陈述可以很容易地通过颠倒尺度来实现。小（相对较大）距离应替换为大（相对较小）相似性。经典距离对数据的视觉表示的所有特征给予同等的突出地位。由于在导致数据的向量表示的过程中的任意选择，考虑到要求解的任务，实例的向量表示的所有特征仍然具有不相等的影响。假设所有特征对所基于的距离具有相等的影响是不满足的，则考虑到目标任务，两个实例的向量表示之间的任何经典距离都可能是真实世界问题的算法的计算取决于应用于数据的向量表示的距离解决任务的能力取决于对矢量表示和距离的选择。取决于数据集的表示或实例之间的距离对于算法是显著的这一事实，可以学习实例之间的表示或相似性。5在文献中，有大量的工作致力于向量表示和度量的相互适应问题已经提出了许多方法来使距离适应于所选择的向量表示（度量学习）或使向量表示适应于所设置的距离（表示学习、特征选择、降维）。一旦设置了数据集的矢量表示和距离， 可以构建数据集的图形表示来求解目标任务。半 监督算法的一个子集利用图结构化数据集来解决不同的任务。图形由一组垂直线组成，这些垂直线由一组加权边连接。用于表征边缘的权重表示由边缘链接的垂直线之间的例如，可以基于实例的向量表示之间的距离来创建来自数据集的实例的对等之间的链接可以从矢量数据集计算多个图形表示基于图的半监督算法依赖于实例之间的关系船。基于图的算法假设图是一个同构结构，即考虑到目标任务，图中的闭实例是相似的。如前所述，数据集的矢量表示和距离可能不适用于要解决的任务基于集合距离和向量表示的数据集的图形表示可能不满足平滑性假设，并且基于图形的算法可能表现不佳。这项工作背后的主要问题是如何最好地调整数据的矢量表示及其相关距离。如何学习表征空间和与之相关的距离，使表征空间上的距离对要解决的任务有意义？度量学习和表示学习AP- proaches是相互关联的。在本文中，考虑到设定的距离，我们研究了基于图形的目标任务分辨率的表示学习方法。我们声称，任务驱动的表示学习算法允许基于图形的半监督算法优于数据的初始表示空间论文大纲如下：第2章：我们介绍了半监督任务的度量学习和自动化学习的必要性。在介绍了机器学习的主要任务之后，我们现在介绍了监督和半监督学习。一些有监督和半有监督学习算法·6审查。我们讨论了实例表示空间的影响和算法所使用的距离的影响。本文回顾了一些度量学习和表示学习方法及其局限性。第三章：我们提出了基于图形的半监督学习。我们首先审查图形描述、特征和属性。基于数据集，介绍了不同的图形表示构造方法。本文对利用数据集图形表示的半监督算法进行了综述。最后讨论了构造方法对基于图的算法计算的影响。第四章：我们介绍了基于图的分类的度量驱动表示学习算法。对于高效的基于图的算法计算，数据被投影到满足一些平滑相关约束的表示空间中。基于需要满足的表示空间约束，引入了待优化的成本函数。描述了一种从初始空间到满足一些约束的表示空间的映射的算法。由于它们的一些特性，神经网络是表征学习的有趣模型。然后介绍了优化的神经网络函数和用于学习映射函数的暹罗架构。最后，我们看到如何利用由引入的算法学习的表示空间，以便将标签传播算法应用于构造的图。第五章：介绍了我们框架中分类准确性的理论保证。我们表明，如果一个表示空间被学习为满足一组特定的相对约束，并且如果数据满足一些初始分布约束，我们可以为基于图的最优分类构建一个图。由所引入的算法学习的表示空间中的两个实例之间的距离可以根据它们在初始空间中的距离而被限制我们定义了一些相关约束在映射到的表示空间实例中得到满足的理论条件。然后，我们表明，可以在表示空间实例中定义一个阈值，该阈值被投影到这样一个点上，即两个实例可以彼此链接，如果并且仅如果它们被类似地标记，从而允许执行最优分类。第6章：实证评估了我们的人工和真实数据集分类框架的能力。所引入的学习算法由一组约束驱动我们的算法学习尊重spe的表示空间的····7首先通过验证约束在表示空间中是否得到满足以及如何概括来评估指定的约束。理论分析定义了所引入的表示学习算法允许最优分类的条件。由于理论分析基于两个强有力的假设，因此对多个数据集的假设的满意度进行了实证评估。所引入的用于任务分类的表示学习算法本身的增益必须被实证地评估。通过比较在所引入的算法提出的表示空间中构造的图上获得的分类误差与在用其他度量和表示学习算法获得的图上获得的误差，分析了表示学习对分类准确性的增益。最后，我们通过将基于图的分类算法与我们引入的表示学习算法所学习的表示空间中的其他分类算法进行比较，探讨了这项工作的可能扩展。第七章用理论分析和实证实验来反驳我们的主张。我们讨论了探索性工作中出现的一些开放性问题，并介绍了一些前景。·8第二章半监督机器学习为了优化和自动地解决一些现实世界的问题，机器学习算法基于从现实世界上下文创建的数据集。标签可能对某些实例可用，导致具有标记的示例。监督学习算法利用标记的示例来解决目标任务。在对现实世界的预测问题和可以从中提取的机器学习任务进行更精确的回顾之后，我们将简要介绍监督学习。 在现实世界中，未标记的数据比标记的示例更容易访问。虽然监督算法只能从标记的例子中学习，但半监督算法从标记和未标记的例子中学习模型的原因是什么？因此，我们将讨论半监督学习，以及一些半监督算法。机器学习算法高度依赖于所用度量的相关性和数据所处的表示空间。一方面，表示学习方法提出通过学习数据的新向量表示来解决引入的问题。另一方面，考虑集合向量表示，可以通过度量学习来学习实例之间的成对关系。因此，我们将最终讨论度量和表示学习，以及对表示和度量学习算法的简要回顾2.1从现实世界问题到机器学习任务现实世界问题中的一个常见任务是能够将连续的或真实的值与实例相关联。让我们考虑一个商业网站预算预测的例子。预测下一年的客户支出可能会破坏对前几年每个客户购买记录的分析以及客户之间的相似性。试图手动完成这项工作将非常耗时。自动预测9{}{骨干} | ≥}根据客户的个人资料和购买记录，客户的支出将是一个很大的改进。另一个经常需要在现实世界中解决的类似任务是用预定义的标签来表征一些数据。名义数字标签需要与实例关联例如，让我们考虑一个商业网站，它喜欢向客户提供一组感兴趣的项目。解决方案是自动定义某个项目是否可能引起客户的兴趣，并将该项目与一个取决于该项目是否适合客户的标签相关联，而不需要对该项目和客户进行专家审查。需要解决的另一个常见问题是定义一组实例的分区。例如，商业网站可以根据用户的行为或共同描述符自动创建用户组，以进行市场细分。需要自动解决的各种现实世界预测问题可以根据可以从中提取的马中学习任务分为不同的类别。在第一章介绍的可以从现实世界问题中提取的各种任务中，让我们引用：群集：在群集中，问题是在一组实例上或在实例连接的空间上定义分区。分类：AIM学习一个函数，通过从预定义的集合中为一组实例分配标签来对它们进行分类。回归：在回归的上下文中，AIM是学习一个函数限定符- fying数据，即实例与定量值相关联。在我们之前介绍的商业网站推荐示例中，目标是定义客户对一组项目的兴趣。数据集可以由一组项目组成。推荐问题中的标签应反映客户对不同项目的兴趣，并可定义为二进制集0， 1。所描述的现实世界问题可以转换为分类任务。在预算预测示例中，数据集将由一组客户组成任务的目标是将实际价值金额与每个客户相关联。支出预测问题的标签集是正实数aRa0的子集。因此，客户支出预测问题可以被视为一个回归任务。市场细分问题是定义客户群的划分。由于数据集也被定义为一组客户，因此没有先验信息可用于市场细分问题，因为没有地面真相。市场细分问题可以看作是一个集群···10P任务，其中一组客户端希望被分区。在本工作中，我们将重点放在分类任务上。解决分类任务的一种方法是利用可用的标记示例来学习分类函数。来自可用标记示例集的推理方法与监督分类领域有关在有监督的分类中，通过假设在数据表示空间和标签集上的分布，期望学习基于包含在可用标签示例中的信息的分类函数g。学习分类函数g以最小化用于训练的可用数据上的误差，即，以最大限度地满足可用示例上的标签，并最小化概括误差，即将其推广到不可见的实例。标签可能直接来自现实世界的问题背景。在商业网站预算预测的例子中，不同客户在前几年的支出很容易从网站数据库中获得。可以定义更复杂的标签，并且可能无法直接获得这样的信息。在这种情况下，可能会要求专家在数据收集过程期间或之后提出审查建议考虑到向客户推荐物品的问题，专家可以分析客户从一个作者那里购买了几本书。根据专家从购买记录中提取的关于用户的知识，专家可以指示客户可能对同一作者的最新书籍感兴趣。真实世界的数据标签可能是昂贵的，而不是微不足道的。由于存在限制，与可用数据集相比，标记数据的数量通常很小。真实世界数据集通常仅部分标记或完全未标记。让我们定义分类问题的全局符号。设X为向量空间，Y为离散标签集{0，...，c-1}。 让P成为分布在X × Y上。让{（x0，y0），...，（xl−1，yl−1）}是一组标记的例子，并且{xl，...，xl+u−1}是一组未标记的例子，其中xi> X，yi> Y。我们假设两个集合中的例子是独立和恒等分布的。让我们定义L={x0，... xl−1}和U={xl，...，xl+u-1}。 让我们将数据集X定义为联合X=L=U。我们假设X中的示例是根据DT O P采样的。让我们最终定义y yL=[y0，...， yl−1]thela belsv向量的实例从L和yU=[yl，...，yl+u-1]为来自U的实例预测的标签的第e个向量。向量y是yL和yU的合取，则是与数据集X相关联的标签向量。有监督分类因此喜欢学习基于g的函数11P*PPPPXPPX PY在X=L（U=−）和yL上。 然后可以使用分类函数预测从中采样的不可见实例的标签。然而，人们一直强调，真实世界数据集只能被部分标记，即X=L。受监督的分类算法不利用可用的未标记数据来解决任务。随着数据量的增长，利用未标记的实例可以提高任务的解决方案。转导学习方法利用标记样本和未标记实例来预测标记和未标记实例的U然而，他们只想解决培训期间可用的未标记实例的转导学习不寻求学习关于实例域的一般假设，并且不能预测在训练时间不可用的未见实例的任何标签因此，在转导学习中学习的函数分类被学习以最小化来自U的未标记实例上的误差。半监督分类算法还利用未标记的实例来解决任务。然而，学习的半监督分类函数g并不像将标签与发行版中的任何看不见的实例相关联那样，只关注当前可用的未标记实例基于X=LU，半监督分类算法，类似于监督学习，aim在学习g以最小化用于训练的示例上的误差并最小化概括误差。2.2监督分类数据集X由标记集L、未标记集U或L和U组成。来自L的实例标签要么直接从数据集创建过程中计算，要么基于专家评审。基于X数据集，归纳监督和半监督分类算法寻求学习模型以预测从分布绘制的任何实例的标签。可以针对潜在的未标记实例或未从中采样的未查看实例来解决目标任务。本文以半监督分类为重点，对监督分类领域进行了简要概述。有监督学习算法通过对实例的次优概率分布产生假设来检索数据集X=L的标签分布生成的假设可用于预测绘制中的不可见实例。有监督的学习分类算法从预定义标签集中的标签学习域绘制的每个实例的模型映射。 在绘制的不可见实例上评估伪命题。可以找到监督学习的更精确的最新技术水平，特别是在[Kotsiantis，2007]中。12P许多归纳监督学习算法旨在学习解释标记集L的生成过程，并被称为生成。引用一些朴素贝叶斯方法（[Cestnik et al.，1987]），混合模型[Dempster等人，1977]）、受限玻尔兹曼机（[Fischer和Igel，2012]）或线性微分分析（[Fisher，1938; Fukunaga，1990]）可以被高度阐明。非生成算法称为区分算法。一些区分算法旨在学习线性分离器，其中支持向量机（[Burges，1998]）和基于感知器的算法（[Rosenblatt，1962]）可以被引用。其他算法，如线性分隔符的克内斯化版本、神经网络（[Zhang，2000]）或基于逻辑的算法（[Murthy，1998; Fürnkranz，1999]），都渴望学习非线性SEP-Arator以进行更复杂的数据集分类。2.3半监督分类监督学习提供了各种方法，以便能够基于可用的标记数据X来预测分发后的未采样实例的标签。受监督算法的学习过程完全基于在数据集创建期间可用的标记实例。由于真实世界的限制，包括不同的标签难度和成本，人们强调，考虑到真实世界数据集创建期间的可用数据，标签中的比例往往很小。监督学习算法，在培训阶段留下大部分可用实例。这样，他们就不会用未标记实例携带的信息来阻碍半监督算法通过对由用于学习阶段的标记和未标记实例组成的X个数据集进行推理来解决所描述的问题为了在训练过程中有效地利用未标记的U数据，半监督学习假设数据的底 层 分 布 是 某 种 结 构 化 的 。 假 设 数 据 满 足 平 滑 性 假 设 或 聚 类 假 设（[Chapelle et al.，2006年]。在现实世界中，密切相关的实体比遥远的实体更有可能分享我的共同特征。人们更有可能与品味或观点相似的人成为朋友。同性恋假设是一种假设，即封闭的实例可能在某种程度上相似。基于现实世界的同性恋假说在[McPherson等人，2001年]。基于真实世界的假设，机器学习平滑性假设是，考虑到标签，两个封闭实例可能是封闭的，即：他们可能会分享一个共同的标签。假设较近的实例在某种程度上更有可能是相似的，集群假设仍然假设数据可能倾向于以倍数传播。13P近似同质标签的组。考虑到至少满足上述假设中的一个，半监督分类算法通过利用标记和未标记数据来解决分类任务。半监督学习是一个重要的研究领域，已经提出了许多方法。在本文中，我们将重点放在一个基于图的半监督算法来解决分类任务。为了代替我们的工作，让我们简要地讨论半监督分类方法。一些调查讨论了数字半监督分类算法。读者可参考[Zhu，2005，Chapelle等人，2006年]关于半监督学习的更详细讨论。与监督学习不同，半监督学习利用了可用的未标记示例。有多种方法可以利用未标记的U数据来解决任务。在一个实例上，未标记的实例与标记的实例分开，可以用作有监督的分类算法训练。另一方面，未标记的实例可以被视为培训实例，并在培训阶段与标记的示例一起使用。与我们将要关注的算法不同，半监督分类算法的第一部分使用数据集X的未标记数据U来调节监督分类器的训练步骤。未标记的实例可以专门用于学习数据的矢量表示、内核或数据上的距离。然后可以基于新学习的组件对监督分类器进行训练。未标记的实例也可视为潜在的未来标记示例。它们可用于逐步加强标记的组，并用于培训任何受监督的类或评估不同学习模型之间的一致性。许多协同训练（[Blum和Mitchell，1998]）、自我训练（[Yarowsky，1995]）和多视图算法（[de Sa，1994]）利用未标记的数据来影响任何监督模型的训练阶段。其他半监督分类算法联合利用标记和未标记数据来学习模型。在它们之间，在生成算法之间，在期望最大化之间（[Dempster et al.，1977]），利用整个数据集，不考虑现有标签，来估计数据集下的条件密度。来自L的实例的标签知识用于对以下采样的未标记实例进行分类，包括来自U的实例。与监督学习类似，另一组学习方法喜欢有区别的分类。 鉴别算法旨在基于标记和未标记实例学习不同类之间的决策边界。在最著名的区别性算法中，让我们引用换能器支持向量机（[Joachims，1999]）。