决策树与信息增益：人工智能理论作业示例

在本篇人工智能理论作业4中，学生邝金熙探讨了决策树作为机器学习算法的基础概念。首先，他通过计算整个数据集的信息熵来理解数据集的不确定性。对于18个样本，由于skips和reads各占一半，初始信息熵H0为1。接下来，邝金熙考虑了几个特征对分类的影响力： 1. 作者是否有名：根据提供的数据，有名作者的书籍样本中有12个skips和6个reads，信息增益Gain0A为0，因为分裂后每个子集的信息熵保持不变。 2. 书是新作还是续作、书的篇幅长短、阅读场所：对于这些特征，信息增益分别为Gain0B=0.1498，Gain0C=0.5819，和Gain0D=0，其中篇幅长短的特征带来的增益最大，成为划分的第一个关键因素。 在选择篇幅长短这个特征后，将数据集划分为两个子集：一个包含7个篇幅长且全部为skips的样本，另一个包含9个样本，进一步分析阅读场所的信息。具体到篇幅短的子集，子节点中有2个skips和7个reads，信息熵为H1和对应的Gain1A，但由于内容未给出，这部分的详细计算和信息增益未能展示。 决策树构建过程中，信息增益被用来评估每个特征的重要性，选择增益最大的特征作为当前节点的分裂依据。直到所有特征的增益为零或者达到预定的停止条件（如达到最大深度、最小样本数等），决策树的构造才会停止。在这个过程中，朴素贝叶斯分类法可能会被提及作为一种简单而有效的概率模型，它假设特征之间相互独立，用于估计各个类别的概率。 同时，异或神经网络（XOR）在这里可能不是直接讨论的主题，但它通常与逻辑门操作和多层神经网络结构相关，用于处理非线性问题，这可能与决策树中的特征选择和模型复杂度提升形成对比。至于计算损失函数对权重的偏导数，这通常涉及到深度学习的梯度下降优化过程，可能与优化神经网络参数的学习算法有关。 本作业展示了决策树的基本原理、信息增益的选择以及可能涉及的概率模型和优化技术，这些都是人工智能领域的重要知识点。