python 局部多项式回归

局部多项式回归（Locally Weighted Polynomial Regression）是一种非参数的回归方法，它在每个预测点附近使用一个加权的多项式来进行回归。它的目标是在每个预测点上拟合一个局部的多项式模型，以更好地适应数据的非线性关系。

以下是Python实现局部多项式回归的示例代码：

import numpy as np
import matplotlib.pyplot as plt

def locally_weighted_polynomial_regression(x, y, query_point, tau, degree):
    m = len(x)
    X = np.ones((m, degree+1))
    for i in range(1, degree+1):
        X[:, i] = x**i
    
    weights = np.exp(-(x - query_point)**2 / (2 * tau**2))
    W = np.diag(weights)
    
    theta = np.linalg.inv(X.T @ W @ X) @ (X.T @ W @ y)
    
    query_X = np.ones(degree+1)
    for i in range(1, degree+1):
        query_X[i] = query_point**i
    
    query_y = query_X @ theta
    
    return query_y

# 示例数据
x = np.array([1, 2, 3, 4, 5])
y = np.array([2, 4, 6, 8, 10])

# 预测点
query_point = 3.5

# 参数设置
tau = 0.5  # 控制权重的带宽
degree = 2  # 多项式的阶数

# 进行局部多项式回归预测
predicted_y = locally_weighted_polynomial_regression(x, y, query_point, tau, degree)

# 绘制结果
plt.scatter(x, y, color='blue', label='Data')
plt.plot(query_point, predicted_y, color='red', marker='o', markersize=8, label='Prediction')
plt.xlabel('x')
plt.ylabel('y')
plt.legend()
plt.show()

在上述代码中，我们首先定义了一个`locally_weighted_polynomial_regression`函数，该函数接受输入数据`x`和`y`，预测点`query_point`，权重带宽`tau`和多项式阶数`degree`作为参数。然后，我们根据输入数据构建多项式矩阵`X`，计算每个数据点的权重，并构建权重矩阵`W`。接下来，我们使用最小二乘法求解多项式回归的参数`theta`，并根据预测点构建预测矩阵`query_X`。最后，我们将预测矩阵与参数相乘得到预测值`query_y`。

通过运行上述代码，我们可以得到在预测点附近进行局部多项式回归的结果，并将其绘制在图中。