周志华机器学习习题答案

### 周志华《机器学习》课后习题答案

对于周志华《机器学习》书中第一章的部分习题解答如下：

#### 表1.1中若只包含编号为1和4的两个样例，试给出相应的版本空间

当表1.1仅保留编号为1和4的样例时，版本空间是指所有能与这两个样例相一致的假设集合。由于只有两个样例，因此可以构建出较为具体的版本空间描述[^1]。

# Python伪代码展示如何枚举可能的假设组合
def generate_version_space():
    attributes = ['Sunny', 'Warm', '?', 'Normal', 'Young']
    version_space = []
    
    # 枚举满足条件的假设
    for sky in ['Sunny', '?']:
        for temperature in ['Warm', '?']:
            for humidity in ['?', 'High', 'Normal']:
                for wind in ['Strong', '?']:
                    for water in ['Warm', '?']:
                        for forecast in ['Same', '?']:
                            hypothesis = [sky, temperature, humidity, wind, water, forecast]
                            
                            # 判断该假设是否符合给定的正实例
                            if (hypothesis[:3] == ['Sunny', 'Warm', 'Normal'] or '?' in hypothesis[:3]) and \
                               (hypothesis[-2:] == ['Warm', 'Same'] or '?' in hypothesis[-2:]):
                                version_space.append(hypothesis)

    return version_space

上述Python伪代码展示了如何通过编程方式来列举符合条件的假设列表，从而形成版本空间的一部分。

#### 若数据包含噪声，则假设空间中有可能不存在与所有训练样本都一致的假设，在此情形下，试设计一种归纳偏好用于假设选择

面对含噪数据的情况，可以选择引入某种形式的归纳偏置或偏好原则来进行更稳健的学习过程。例如，采用奥卡姆剃刀原理(Occam's Razor)，即倾向于选择最简单的解释作为最终模型；或是基于最大似然估计(Maximum Likelihood Estimation)的方法去挑选那些能够最大化观察到的数据概率分布下的参数配置。