对上述模型进行局部线性逼近，写出算法及R语言程序并给出三个变系数函数，其中窗宽h用交叉验证法选择

局部线性逼近（Locally Weighted Linear Regression）是一种非参数的回归方法，其主要思想是对于每一个待预测的样本点，在训练集中选取一些与该样本点相近的样本，然后在这些样本中通过最小二乘法进行线性回归，最终得到该样本的预测值。

算法步骤：

1. 对于每一个待预测的样本点x0，从训练集中选取窗口内的样本点xi，计算样本权重w(i)，其中权重函数可以选择高斯核函数或者其他函数。

2. 对于窗口内的每一个样本，根据最小二乘法进行线性回归得到系数b和截距a。

3. 计算待预测样本的预测值y0，即y0=a+b*x0。

R语言程序：

# 定义高斯核函数
gaussian_kernel <- function(x, h) {
  return (exp(-(x^2)/(2*h^2)))
}

# 定义局部线性回归函数
loess_regression <- function(x, y, x0, h) {
  # 计算样本权重
  w <- gaussian_kernel((x-x0)/h, h)
  # 计算系数b和截距a
  X <- cbind(rep(1, length(x)), x-x0)
  B <- solve(t(X) %*% (w * X)) %*% t(X) %*% (w * y)
  # 计算预测值y0
  y0 <- B[1] + B[2] * (x0-x)
  return (y0)
}

# 定义交叉验证选择窗宽函数
cv_loess <- function(x, y, h_seq) {
  n <- length(x)
  cv_error <- numeric(length(h_seq))
  for (i in 1:length(h_seq)) {
    h <- h_seq[i]
    loo_error <- 0
    for (j in 1:n) {
      x0 <- x[j]
      y0 <- y[j]
      x_j <- x[-j]
      y_j <- y[-j]
      y_pred <- loess_regression(x_j, y_j, x0, h)
      loo_error <- loo_error + (y0 - y_pred)^2
    }
    cv_error[i] <- loo_error/n
  }
  h_opt <- h_seq[which.min(cv_error)]
  return (h_opt)
}

# 生成样本数据
set.seed(123)
x <- seq(-5, 5, length.out=100)
y <- sin(x) + rnorm(length(x), 0, 0.3)

# 选择窗宽
h_seq <- seq(0.1, 2, length.out=100)
h_opt <- cv_loess(x, y, h_seq)
print(paste("Optimal bandwidth:", h_opt))

# 进行局部线性回归预测
y_pred <- numeric(length(x))
for (i in 1:length(x)) {
  y_pred[i] <- loess_regression(x, y, x[i], h_opt)
}

# 绘制预测结果
plot(x, y, pch=20, col="blue", xlab="x", ylab="y", main="LOESS Regression")
lines(x, y_pred, lwd=2, col="red")

三个变系数函数示例：

1. $f(x)=x^2$

set.seed(123)
x <- seq(-5, 5, length.out=100)
y <- x^2 + rnorm(length(x), 0, 5)

h_seq <- seq(0.1, 2, length.out=100)
h_opt <- cv_loess(x, y, h_seq)

y_pred <- numeric(length(x))
for (i in 1:length(x)) {
  y_pred[i] <- loess_regression(x, y, x[i], h_opt)
}

plot(x, y, pch=20, col="blue", xlab="x", ylab="y", main="LOESS Regression")
lines(x, y_pred, lwd=2, col="red")

2. $f(x)=\sin(x)$

set.seed(123)
x <- seq(-5, 5, length.out=100)
y <- sin(x) + rnorm(length(x), 0, 0.3)

h_seq <- seq(0.1, 2, length.out=100)
h_opt <- cv_loess(x, y, h_seq)

y_pred <- numeric(length(x))
for (i in 1:length(x)) {
  y_pred[i] <- loess_regression(x, y, x[i], h_opt)
}

plot(x, y, pch=20, col="blue", xlab="x", ylab="y", main="LOESS Regression")
lines(x, y_pred, lwd=2, col="red")

3. $f(x)=\sqrt{|x|}$

set.seed(123)
x <- seq(-5, 5, length.out=100)
y <- sqrt(abs(x)) + rnorm(length(x), 0, 0.5)

h_seq <- seq(0.1, 2, length.out=100)
h_opt <- cv_loess(x, y, h_seq)

y_pred <- numeric(length(x))
for (i in 1:length(x)) {
  y_pred[i] <- loess_regression(x, y, x[i], h_opt)
}

plot(x, y, pch=20, col="blue", xlab="x", ylab="y", main="LOESS Regression")
lines(x, y_pred, lwd=2, col="red")