使用图神经网络进行商品品类自动识别代码案例

时间: 2024-04-23 14:07:33 浏览: 108
PDF

一种基于神经网络的智能商品税分类系统

以下是使用图神经网络进行商品品类自动识别的代码案例: 首先,需要安装 `pytorch` 和 `dgl` 库。 ```python !pip install torch dgl ``` 接着,导入必要的库和数据集。 ```python import torch import dgl import numpy as np import pandas as pd import matplotlib.pyplot as plt from torch.utils.data import Dataset from dgl.data.utils import load_graphs, save_graphs # 下载数据集 !curl -O https://snap.stanford.edu/data/amazon/productGraph/categoryFiles/reviews_Automotive_5.json.gz !gunzip reviews_Automotive_5.json.gz ``` 定义数据集类,并重载 `__getitem__` 和 `__len__` 方法。 ```python class AmazonDataset(Dataset): def __init__(self, filename): self.df = pd.read_json(filename, lines=True) def __getitem__(self, idx): review = self.df.iloc[idx] g = dgl.DGLGraph() g.add_nodes(1) g.ndata['reviewerID'] = torch.tensor([review.reviewerID]) g.ndata['asin'] = torch.tensor([review.asin]) g.ndata['overall'] = torch.tensor([review.overall]) g.ndata['reviewText'] = torch.tensor([review.reviewText]) g.ndata['label'] = torch.tensor([review.label]) return g def __len__(self): return len(self.df) ``` 定义图神经网络模型。 ```python class GNNModel(torch.nn.Module): def __init__(self, in_feats, hidden_feats, out_feats): super(GNNModel, self).__init__() self.conv1 = dgl.nn.GraphConv(in_feats, hidden_feats) self.conv2 = dgl.nn.GraphConv(hidden_feats, hidden_feats) self.conv3 = dgl.nn.GraphConv(hidden_feats, out_feats) def forward(self, g): h = g.ndata['reviewText'] h = self.conv1(g, h) h = torch.relu(h) h = self.conv2(g, h) h = torch.relu(h) h = self.conv3(g, h) return h ``` 定义训练和预测函数。 ```python def train(model, data_loader, optimizer, criterion, device): model.train() loss_total = 0 for i, g in enumerate(data_loader): g = g.to(device) optimizer.zero_grad() pred = model(g) label = g.ndata['label'].squeeze().to(device) loss = criterion(pred, label) loss.backward() optimizer.step() loss_total += loss.item() return loss_total / len(data_loader) def predict(model, data_loader, device): model.eval() y_pred = [] y_true = [] with torch.no_grad(): for i, g in enumerate(data_loader): g = g.to(device) pred = model(g) label = g.ndata['label'].squeeze().to(device) y_pred.append(pred.cpu().numpy()) y_true.append(label.cpu().numpy()) return np.concatenate(y_pred), np.concatenate(y_true) ``` 最后,读取数据集并训练模型。 ```python # 读取数据集 dataset = AmazonDataset('reviews_Automotive_5.json') # 划分训练集和测试集 train_size = int(len(dataset) * 0.8) test_size = len(dataset) - train_size train_dataset, test_dataset = torch.utils.data.random_split(dataset, [train_size, test_size]) # 定义数据加载器 train_data_loader = torch.utils.data.DataLoader(train_dataset, batch_size=128, shuffle=True) test_data_loader = torch.utils.data.DataLoader(test_dataset, batch_size=128, shuffle=False) # 定义模型、优化器和损失函数 model = GNNModel(50, 100, 1) optimizer = torch.optim.Adam(model.parameters(), lr=0.01) criterion = torch.nn.BCEWithLogitsLoss() # 训练模型 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model.to(device) num_epochs = 10 loss_list = [] for epoch in range(num_epochs): loss = train(model, train_data_loader, optimizer, criterion, device) loss_list.append(loss) print(f'Epoch {epoch+1}, loss={loss:.4f}') # 预测并计算准确率 y_pred, y_true = predict(model, test_data_loader, device) y_pred = (y_pred > 0).astype(int) accuracy = (y_pred == y_true).mean() print(f'Accuracy: {accuracy:.4f}') # 绘制 loss 曲线 plt.plot(loss_list) plt.xlabel('Epoch') plt.ylabel('Loss') plt.show() ``` 以上代码实现了一个简单的图神经网络模型,并使用 `AmazonDataset` 数据集进行训练和测试。在训练过程中,将损失函数的值保存在 `loss_list` 列表中,并最终绘制出 loss 曲线。最后,计算模型的准确率并输出。
阅读全文

相关推荐

zip
# GPF ## 一、GPF(Graph Processing Flow):利用图神经网络处理问题的一般化流程 1、图节点预表示:利用NE框架,直接获得全图每个节点的Embedding; 2、正负样本采样:(1)单节点样本;(2)节点对样本; 3、抽取封闭子图:可做类化处理,建立一种通用图数据结构; 4、子图特征融合:预表示、节点特征、全局特征、边特征; 5、网络配置:可以是图输入、图输出的网络;也可以是图输入,分类/聚类结果输出的网络; 6、训练和测试; ## 二、主要文件: 1、graph.py:读入图数据; 2、embeddings.py:预表示学习; 3、sample.py:采样; 4、subgraphs.py/s2vGraph.py:抽取子图; 5、batchgraph.py:子图特征融合; 6、classifier.py:网络配置; 7、parameters.py/until.py:参数配置/帮助文件; ## 三、使用 1、在parameters.py中配置相关参数(可默认); 2、在example/文件夹中运行相应的案例文件--包括链接预测、节点状态预测; 以链接预测为例: ### 1、导入配置参数 from parameters import parser, cmd_embed, cmd_opt ### 2、参数转换 args = parser.parse_args() args.cuda = not args.noCuda and torch.cuda.is_available() torch.manual_seed(args.seed) if args.cuda: torch.cuda.manual_seed(args.seed) if args.hop != 'auto': args.hop = int(args.hop) if args.maxNodesPerHop is not None: args.maxNodesPerHop = int(args.maxNodesPerHop) ### 3、读取数据 g = graph.Graph() g.read_edgelist(filename=args.dataName, weighted=args.weighted, directed=args.directed) g.read_node_status(filename=args.labelName) ### 4、获取全图节点的Embedding embed_args = cmd_embed.parse_args() embeddings = embeddings.learn_embeddings(g, embed_args) node_information = embeddings #print node_information ### 5、正负节点采样 train, train_status, test, test_status = sample.sample_single(g, args.testRatio, max_train_num=args.maxTrainNum) ### 6、抽取节点对的封闭子图 net = until.nxG_to_mat(g) #print net train_graphs, test_graphs, max_n_label = subgraphs.singleSubgraphs(net, train, train_status, test, test_status, args.hop, args.maxNodesPerHop, node_information) print('# train: %d, # test: %d' % (len(train_graphs), len(test_graphs))) ### 7、加载网络模型,并在classifier中配置相关参数 cmd_args = cmd_opt.parse_args() cmd_args.feat_dim = max_n_label + 1 cmd_args.attr_dim = node_information.shape[1] cmd_args.latent_dim = [int(x) for x in cmd_args.latent_dim.split('-')] if len(cmd_args.latent_dim) == 1: cmd_args.latent_dim = cmd_args.latent_dim[0] model = classifier.Classifier(cmd_args) optimizer = optim.Adam(model.parameters(), lr=args.learningRate) ### 8、训练和测试 train_idxes = list(range(len(train_graphs))) best_loss = None for epoch in range(args.num_epochs): random.shuffle(train_idxes) model.train() avg_loss = loop_dataset(train_graphs, model, train_idxes, cmd_args.batch_size, optimizer=optimizer) print('\033[92maverage training of epoch %d: loss %.5f acc %.5f auc %.5f\033[0m' % (epoch, avg_loss[0], avg_loss[1], avg_loss[2])) model.eval() test_loss = loop_dataset(test_graphs, model, list(range(len(test_graphs))), cmd_args.batch_size) print('\033[93maverage test of epoch %d: loss %.5f acc %.5f auc %.5f\033[0m' % (epoch, test_loss[0], test_loss[1], test_loss[2])) ### 9、运行结果 average test of epoch 0: loss 0.62392 acc 0.71462 auc 0.72314 loss: 0.51711 acc: 0.80000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 10.09batch/s] average training of epoch 1: loss 0.54414 acc 0.76895 auc 0.77751 loss: 0.37699 acc: 0.79167: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 34.07batch/s] average test of epoch 1: loss 0.51981 acc 0.78538 auc 0.79709 loss: 0.43700 acc: 0.84000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.64batch/s] average training of epoch 2: loss 0.49896 acc 0.79184 auc 0.82246 loss: 0.63594 acc: 0.66667: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 2: loss 0.48979 acc 0.79481 auc 0.83416 loss: 0.57502 acc: 0.76000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.70batch/s] average training of epoch 3: loss 0.50005 acc 0.77447 auc 0.79622 loss: 0.38903 acc: 0.75000: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 34.03batch/s] average test of epoch 3: loss 0.41463 acc 0.81132 auc 0.86523 loss: 0.54336 acc: 0.76000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.57batch/s] average training of epoch 4: loss 0.44815 acc 0.81711 auc 0.84530 loss: 0.44784 acc: 0.70833: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 4: loss 0.48319 acc 0.81368 auc 0.84454 loss: 0.36999 acc: 0.88000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 10.17batch/s] average training of epoch 5: loss 0.39647 acc 0.84184 auc 0.89236 loss: 0.15548 acc: 0.95833: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 5: loss 0.30881 acc 0.89623 auc 0.95132

最新推荐

recommend-type

产品架构图ppt---内容可编辑

在描述中提到的“产品架构图”是一个可编辑的版本,意味着它可以随着产品的迭代和发展进行调整和更新。 1. **供应链系统**:这部分涉及到商品资源管理、品类管理、ERP(Enterprise Resource Planning)、SCM...
recommend-type

BottleJS快速入门:演示JavaScript依赖注入优势

资源摘要信息:"BottleJS是一个轻量级的依赖项注入容器,用于JavaScript项目中,旨在减少导入依赖文件的数量并优化代码结构。该项目展示BottleJS在前后端的应用,并通过REST API演示其功能。" BottleJS Playgound 概述: BottleJS Playgound 是一个旨在演示如何在JavaScript项目中应用BottleJS的项目。BottleJS被描述为JavaScript世界中的Autofac,它是依赖项注入(DI)容器的一种实现,用于管理对象的创建和生命周期。 依赖项注入(DI)的基本概念: 依赖项注入是一种设计模式,允许将对象的依赖关系从其创建和维护的代码中分离出来。通过这种方式,对象不会直接负责创建或查找其依赖项,而是由外部容器(如BottleJS)来提供这些依赖项。这样做的好处是降低了模块间的耦合,提高了代码的可测试性和可维护性。 BottleJS 的主要特点: - 轻量级:BottleJS的设计目标是尽可能简洁,不引入不必要的复杂性。 - 易于使用:通过定义服务和依赖关系,BottleJS使得开发者能够轻松地管理大型项目中的依赖关系。 - 适合前后端:虽然BottleJS最初可能是为前端设计的,但它也适用于后端JavaScript项目,如Node.js应用程序。 项目结构说明: 该仓库的src目录下包含两个子目录:sans-bottle和bottle。 - sans-bottle目录展示了传统的方式,即直接导入依赖并手动协调各个部分之间的依赖关系。 - bottle目录则使用了BottleJS来管理依赖关系,其中bottle.js文件负责定义服务和依赖关系,为项目提供一个集中的依赖关系源。 REST API 端点演示: 为了演示BottleJS的功能,该项目实现了几个简单的REST API端点。 - GET /users:获取用户列表。 - GET /users/{id}:通过给定的ID(范围0-11)获取特定用户信息。 主要区别在用户路由文件: 该演示的亮点在于用户路由文件中,通过BottleJS实现依赖关系的注入,我们可以看到代码的组织和结构比传统方式更加清晰和简洁。 BottleJS 和其他依赖项注入容器的比较: - BottleJS相比其他依赖项注入容器如InversifyJS等,可能更轻量级,专注于提供基础的依赖项管理和注入功能。 - 它的设计更加直接,易于理解和使用,尤其适合小型至中型的项目。 - 对于需要高度解耦和模块化的大规模应用,可能需要考虑BottleJS以外的解决方案,以提供更多的功能和灵活性。 在JavaScript项目中应用依赖项注入的优势: - 可维护性:通过集中管理依赖关系,可以更容易地理解和修改应用的结构。 - 可测试性:依赖项的注入使得创建用于测试的mock依赖关系变得简单,从而方便单元测试的编写。 - 模块化:依赖项注入鼓励了更好的模块化实践,因为模块不需关心依赖的来源,只需负责实现其定义的接口。 - 解耦:模块之间的依赖关系被清晰地定义和管理,减少了直接耦合。 总结: BottleJS Playgound 项目提供了一个生动的案例,说明了如何在JavaScript项目中利用依赖项注入模式改善代码质量。通过该项目,开发者可以更深入地了解BottleJS的工作原理,以及如何将这一工具应用于自己的项目中,从而提高代码的可维护性、可测试性和模块化程度。
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

【版本控制】:R语言项目中Git与GitHub的高效应用

![【版本控制】:R语言项目中Git与GitHub的高效应用](https://opengraph.githubassets.com/2abf032294b9f2a415ddea58f5fde6fcb018b57c719dfc371bf792c251943984/isaacs/github/issues/37) # 1. 版本控制与R语言的融合 在信息技术飞速发展的今天,版本控制已成为软件开发和数据分析中不可或缺的环节。特别是对于数据科学的主流语言R语言,版本控制不仅帮助我们追踪数据处理的历史,还加强了代码共享与协作开发的效率。R语言与版本控制系统的融合,特别是与Git的结合使用,为R语言项
recommend-type

RT-DETR如何实现在实时目标检测中既保持精度又降低计算成本?请提供其技术实现的详细说明。

为了理解RT-DETR如何在实时目标检测中保持精度并降低计算成本,我们必须深入研究其架构优化和技术细节。RT-DETR通过融合CNN与Transformer的优势,提出了一种混合编码器结构,这种结构采用了尺度内交互(AIFI)和跨尺度融合(CCFM)策略来提取和融合多尺度图像特征,这些特征能够提供丰富的视觉上下文信息,从而提升了模型的检测精度。 参考资源链接:[RT-DETR:实时目标检测中的新胜者](https://wenku.csdn.net/doc/1ehyj4a8z2?spm=1055.2569.3001.10343) 在编码器阶段,RT-DETR使用主干网络提取图像特征,然后通过
recommend-type

vConsole插件使用教程:输出与复制日志文件

资源摘要信息:"vconsole-outputlog-plugin是一个JavaScript插件,它能够在vConsole环境中输出日志文件,并且支持将日志复制到剪贴板或下载。vConsole是一个轻量级、可扩展的前端控制台,通常用于移动端网页的调试。该插件的安装依赖于npm,即Node.js的包管理工具。安装完成后,通过引入vConsole和vConsoleOutputLogsPlugin来初始化插件,之后即可通过vConsole输出的console打印信息进行日志的复制或下载操作。这在进行移动端调试时特别有用,可以帮助开发者快速获取和分享调试信息。" 知识点详细说明: 1. vConsole环境: vConsole是一个专为移动设备设计的前端调试工具。它模拟了桌面浏览器的控制台,并添加了网络请求、元素选择、存储查看等功能。vConsole可以独立于原生控制台使用,提供了一个更为便捷的方式来监控和调试Web页面。 2. 日志输出插件: vconsole-outputlog-plugin是一个扩展插件,它增强了vConsole的功能,使得开发者不仅能够在vConsole中查看日志,还能将这些日志方便地输出、复制和下载。这样的功能在移动设备上尤为有用,因为移动设备的控制台通常不易于使用。 3. npm安装: npm(Node Package Manager)是Node.js的包管理器,它允许用户下载、安装、管理各种Node.js的包或库。通过npm可以轻松地安装vconsole-outputlog-plugin插件,只需在命令行执行`npm install vconsole-outputlog-plugin`即可。 4. 插件引入和使用: - 首先创建一个vConsole实例对象。 - 然后创建vConsoleOutputLogsPlugin对象,它需要一个vConsole实例作为参数。 - 使用vConsole对象的实例,就可以在其中执行console命令,将日志信息输出到vConsole中。 - 插件随后能够捕获这些日志信息,并提供复制到剪贴板或下载的功能。 5. 日志操作: - 复制到剪贴板:在vConsole界面中,通常会有“复制”按钮,点击即可将日志信息复制到剪贴板,开发者可以粘贴到其他地方进行进一步分析或分享。 - 下载日志文件:在某些情况下,可能需要将日志信息保存为文件,以便离线查看或作为报告的一部分。vconsole-outputlog-plugin提供了将日志保存为文件并下载的功能。 6. JavaScript标签: 该插件是使用JavaScript编写的,因此它与JavaScript紧密相关。JavaScript是一种脚本语言,广泛用于网页的交互式内容开发。此插件的开发和使用都需要一定的JavaScript知识,包括对ES6(ECMAScript 2015)版本规范的理解和应用。 7. 压缩包子文件: vconsole-outputlog-plugin-main文件名可能是指该插件的压缩包或分发版本,通常包含插件的源代码、文档和可能的配置文件。开发者可以通过该文件名在项目中正确地引用和使用插件。 通过掌握这些知识点,开发者可以有效地在vConsole环境中使用vconsole-outputlog-plugin插件,提高移动端网页的调试效率和体验。
recommend-type

"互动学习:行动中的多样性与论文攻读经历"

多样性她- 事实上SCI NCES你的时间表ECOLEDO C Tora SC和NCESPOUR l’Ingén学习互动,互动学习以行动为中心的强化学习学会互动,互动学习,以行动为中心的强化学习计算机科学博士论文于2021年9月28日在Villeneuve d'Asq公开支持马修·瑟林评审团主席法布里斯·勒菲弗尔阿维尼翁大学教授论文指导奥利维尔·皮耶昆谷歌研究教授:智囊团论文联合主任菲利普·普雷教授,大学。里尔/CRISTAL/因里亚报告员奥利维耶·西格德索邦大学报告员卢多维奇·德诺耶教授,Facebook /索邦大学审查员越南圣迈IMT Atlantic高级讲师邀请弗洛里安·斯特鲁布博士,Deepmind对于那些及时看到自己错误的人...3谢谢你首先,我要感谢我的两位博士生导师Olivier和Philippe。奥利维尔,"站在巨人的肩膀上"这句话对你来说完全有意义了。从科学上讲,你知道在这篇论文的(许多)错误中,你是我可以依
recommend-type

【自然语言处理】:R语言文本挖掘与情感分析入门指南

![【自然语言处理】:R语言文本挖掘与情感分析入门指南](https://wisdomml.in/wp-content/uploads/2022/08/tokenizer-1024x512.jpg) # 1. 自然语言处理和R语言基础 自然语言处理(NLP)是计算机科学和人工智能领域的一个分支,旨在让计算机能够理解人类语言。随着大数据时代的到来,NLP在文本分析、信息检索、语音识别等方面的应用变得越来越广泛。R语言作为一种开源的统计编程语言,具有强大的数据处理和可视化功能,它在NLP领域的应用也越来越受到重视。本章将带领读者了解自然语言处理的基础知识,以及R语言在处理语言数据时的基本语法和功
recommend-type

智能衣柜的设计中是如何应用嵌入式系统与物联网技术实现个性化定制的?

智能衣柜作为家居智能化的重要分支,其设计理念的核心在于利用先进的嵌入式系统和物联网技术来优化用户体验。嵌入式系统作为智能衣柜的“大脑”,承担着数据处理、存储和决策的角色。通过在衣柜中集成传感器、微控制器和通信模块,嵌入式系统能够实现对衣物存储环境的实时监控,并根据衣物类型、使用频率等因素智能分配存储空间。 参考资源链接:[智能衣柜:现状、发展趋势与未来创新](https://wenku.csdn.net/doc/uty55wcr9r?spm=1055.2569.3001.10343) 物联网技术的应用,则使智能衣柜能够通过网络连接到用户的智能设备,如智能手机或平板电脑,实现远程监控和管理。
recommend-type

Node.js v12.7.0版本发布 - 适合高性能Web服务器与网络应用

资源摘要信息:"Node.js是一个开源的、跨平台的JavaScript运行时环境,它允许开发者在浏览器之外运行JavaScript代码。自2009年由Ryan Dahl创立以来,Node.js已经成为Web服务器和网络应用程序开发的重要平台。它主要基于Google Chrome的V8 JavaScript引擎,因此能够提供高性能的执行速度,并且能够在多种操作系统上运行,包括Windows、Linux、Unix和Mac OS X。 Node.js的核心特性之一是其事件驱动和非阻塞I/O模型。这种模型使得Node.js特别适合于处理高并发场景,例如实时应用程序、在线游戏和聊天应用等,这些场景需要同时处理大量网络连接。Node.js的非阻塞I/O特性允许服务器继续处理其他任务,而不会因为等待I/O操作的完成而停滞,这样就大大提高了应用程序的响应速度和扩展能力。 Node.js的模块化架构是另一个显著特点。通过npm(Node package manager),即Node包管理器,Node.js社区中的成员可以共享和复用代码。这不仅简化了项目依赖的管理,还促进了生态系统中模块和插件的广泛发展。npm是世界上最大的软件注册中心,提供了超过100万个可复用的代码包,进一步推动了Node.js在各种应用领域的增长和应用。 Node.js的应用不仅仅局限于服务器端开发。随着技术的进步,Node.js也被广泛应用于构建开发工具链、桌面应用程序、物联网设备等方面。Node.js可以轻松地处理文件系统操作、数据库交互和网络请求等功能,这使得开发者能够仅用JavaScript就构建全栈应用程序。这种方法不仅提高了开发效率,还简化了前端和后端的协作流程。 在工业界,Node.js已经得到了广泛的认可和应用。许多大型企业和组织,例如Netflix、PayPal和Walmart,都采用了Node.js来开发其Web应用程序。这些公司利用Node.js提升了应用性能,简化了开发流程,并能够更快地响应市场变化。 最后,提供的压缩包文件名称“node-v12.7.0-linux-arm64.tar.gz”指的是Node.js的一个特定版本的安装包。这个包特别为运行在基于ARM架构64位系统的Linux环境进行了优化,这对于运行在树莓派等小型或定制硬件设备上的应用尤为适用。版本号v12.7.0表明这是一个特定的稳定版本,可能包含特定的修复、改进和新特性。" 总结以上信息,我们介绍了Node.js的以下知识点: 1. Node.js的历史背景和创立目的。 2. Node.js的技术特点,如基于V8引擎的高性能和事件驱动、非阻塞I/O模型。 3. Node.js的模块化架构及其包管理器npm的作用和影响。 4. Node.js的应用场景和适用领域,包括服务器端开发、全栈应用、物联网设备等。 5. Node.js在工业界的采纳情况和企业成功案例。 6. Node.js版本v12.7.0的特定环境适用性和下载信息。