用Python的TensorFlow2.0将波士顿房价数据集分为训练集,验证集和测试集(6:2:2),进行Tensorflow2.0的数据加载、线性回归模型的搭建、线性回归模型的交叉验证、模型保持和新数据预测

时间: 2023-06-10 20:06:10 浏览: 61
好的,以下是完整的代码实现: ```python import numpy as np import pandas as pd import tensorflow as tf from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 加载波士顿房价数据集 boston = load_boston() # 将数据集转化为DataFrame格式 boston_df = pd.DataFrame(boston.data, columns=boston.feature_names) boston_df['PRICE'] = boston.target # 数据集标准化处理 scaler = StandardScaler() boston_df_scaled = scaler.fit_transform(boston_df) # 划分训练集、验证集和测试集(6:2:2) X_train, X_test, y_train, y_test = train_test_split(boston_df_scaled[:, :-1], boston_df_scaled[:, -1], test_size=0.2, random_state=42) X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.25, random_state=123) # 构建TensorFlow2.0数据管道 train_dataset = tf.data.Dataset.from_tensor_slices((X_train, y_train)) train_dataset = train_dataset.shuffle(buffer_size=1024).batch(64) val_dataset = tf.data.Dataset.from_tensor_slices((X_val, y_val)) val_dataset = val_dataset.batch(64) test_dataset = tf.data.Dataset.from_tensor_slices((X_test, y_test)) test_dataset = test_dataset.batch(64) # 构建线性回归模型 class LinearRegression(tf.keras.Model): def __init__(self): super(LinearRegression, self).__init__() self.dense = tf.keras.layers.Dense(units=1) def call(self, inputs): return self.dense(inputs) # 初始化模型、损失函数、优化器和评估指标 model = LinearRegression() loss_fn = tf.keras.losses.MeanSquaredError() optimizer = tf.keras.optimizers.Adam(learning_rate=0.01) metric = tf.keras.metrics.MeanSquaredError() # 定义交叉验证函数 def cross_validate(model, dataset, loss_fn, metric): losses = [] metrics = [] for x, y in dataset: y_pred = model(x) loss = loss_fn(y, y_pred) losses.append(loss) metric.update_state(y, y_pred) return tf.reduce_mean(losses), metric.result().numpy() # 训练模型 n_epochs = 50 best_loss = np.inf for epoch in range(n_epochs): for x, y in train_dataset: with tf.GradientTape() as tape: y_pred = model(x) loss = loss_fn(y, y_pred) gradients = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) # 在验证集上进行交叉验证 val_loss, val_metric = cross_validate(model, val_dataset, loss_fn, metric) if val_loss < best_loss: # 保存最优模型 best_loss = val_loss model.save_weights('best_model.h5') print('Epoch [{}/{}], Train Loss: {:.4f}, Val Loss: {:.4f}, Val Metric: {:.4f}' .format(epoch+1, n_epochs, loss.numpy(), val_loss, val_metric)) # 加载最优模型 model.load_weights('best_model.h5') # 在测试集上进行预测 test_loss, test_metric = cross_validate(model, test_dataset, loss_fn, metric) print('Test Loss: {:.4f}, Test Metric: {:.4f}'.format(test_loss, test_metric)) ``` 以上代码实现了以下内容: 1. 加载波士顿房价数据集,并将其转化为DataFrame格式。 2. 对数据集进行标准化处理,并将其划分为训练集、验证集和测试集(6:2:2)。 3. 使用TensorFlow2.0的数据管道构建训练集、验证集和测试集的输入。 4. 构建线性回归模型,并初始化模型、损失函数、优化器和评估指标。 5. 定义交叉验证函数,用于在验证集上进行交叉验证。 6. 训练模型,并在每个epoch结束后在验证集上进行交叉验证,以获取最优模型。 7. 加载最优模型,并在测试集上进行预测,输出测试集的损失和评估指标。 注意:在使用TensorFlow2.0的数据管道时,需要将数据集划分为输入和输出两个部分,即`(X_train, y_train)`和`(X_val, y_val)`,并在`tf.data.Dataset.from_tensor_slices()`函数中传入这两个部分。在训练模型时,需要使用`GradientTape`记录损失函数对模型参数的梯度,并使用`apply_gradients()`方法更新模型参数。在交叉验证函数中,需要使用`update_state()`方法更新评估指标的状态,并使用`result().numpy()`方法获取评估指标的数值。

相关推荐

最新推荐

recommend-type

Python分割训练集和测试集的方法示例

主要介绍了Python分割训练集和测试集的方法示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
recommend-type

python实现将两个文件夹合并至另一个文件夹(制作数据集)

主要介绍了python实现将两个文件夹合并至另一个文件夹(制作数据集),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
recommend-type

python 实现对数据集的归一化的方法(0-1之间)

今天小编就为大家分享一篇python 实现对数据集的归一化的方法(0-1之间),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
recommend-type

简单粗暴 TensorFlow 2.0.pdf

这是一本简明的 TensorFlow 2 入门指导手册,基于 Keras 和即时执行模式(Eager Execution),力图让具备一定机器学习及 Python 基础的开发者们快速上手TensorFlow 2。 本手册的所有代码基于 TensorFlow 2.1 和 2.0 ...
recommend-type

【K-means算法】{1} —— 使用Python实现K-means算法并处理Iris数据集

此处基于K-means算法处理Iris数据集 Kmeans.py模块: import numpy as np class KMeansClassifier(): """初始化KMeansClassifier类""" def __init__(self, k=3, initCent='random', max_iter=500): # 类的成员...
recommend-type

zigbee-cluster-library-specification

最新的zigbee-cluster-library-specification说明文档。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

实现实时数据湖架构:Kafka与Hive集成

![实现实时数据湖架构:Kafka与Hive集成](https://img-blog.csdnimg.cn/img_convert/10eb2e6972b3b6086286fc64c0b3ee41.jpeg) # 1. 实时数据湖架构概述** 实时数据湖是一种现代数据管理架构,它允许企业以低延迟的方式收集、存储和处理大量数据。与传统数据仓库不同,实时数据湖不依赖于预先定义的模式,而是采用灵活的架构,可以处理各种数据类型和格式。这种架构为企业提供了以下优势: - **实时洞察:**实时数据湖允许企业访问最新的数据,从而做出更明智的决策。 - **数据民主化:**实时数据湖使各种利益相关者都可
recommend-type

可见光定位LED及其供电硬件具体型号,广角镜头和探测器,实验设计具体流程步骤,

1. 可见光定位LED型号:一般可使用5mm或3mm的普通白色LED,也可以选择专门用于定位的LED,例如OSRAM公司的SFH 4715AS或Vishay公司的VLMU3500-385-120。 2. 供电硬件型号:可以使用常见的直流电源供电,也可以选择专门的LED驱动器,例如Meanwell公司的ELG-75-C或ELG-150-C系列。 3. 广角镜头和探测器型号:一般可采用广角透镜和CMOS摄像头或光电二极管探测器,例如Omron公司的B5W-LA或Murata公司的IRS-B210ST01。 4. 实验设计流程步骤: 1)确定实验目的和研究对象,例如车辆或机器人的定位和导航。
recommend-type

JSBSim Reference Manual

JSBSim参考手册,其中包含JSBSim简介,JSBSim配置文件xml的编写语法,编程手册以及一些应用实例等。其中有部分内容还没有写完,估计有生之年很难看到完整版了,但是内容还是很有参考价值的。