model = HetGraphSAGE(nfeat1=drug_feat_dim, nfeat2=protein_feat_dim, nhid=hidden_size, out_dim=drug_node, gamma=gamma) criterion = nn.MSELoss() # MSE损失函数 optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=0.0001) # 优化器 drug_graph = (torch.ones_like(drug_graph.to_dense())).to_sparse() data = (drug_feat.float(), protein_feat.float(), drug_graph.float(), drug_protein_graph.float()) for epoch in range(epochs): model.train() # 模型在train模式 optimizer.zero_grad() # zero_grad 清除上一次的一些梯度 output = model(data) # forward loss = criterion(output[train_mask].float(), drug_graph_label[train_mask].float()) # 只计算Train节点的损失 # 测试模型准确率 #accuracy = (torch.abs(output[test_mask].float() - drug_graph_label[test_mask].float()) < eps).sum() / (drug_graph_label[test_mask].shape[0]) #print("Epoch [{}/{}], train loss: {:.4f}, test accuracy: {:.4f}".format(epoch + 1, epochs, loss.item(), accuracy)) r2 = r2_score(drug_graph_label[test_mask].squeeze().detach().numpy(), output[test_mask].squeeze().detach().numpy()) print("Epoch [{}/{}], train loss: {:.4f}, test R2_score: {:.4f}".format( epoch + 1, epochs, loss.item(), r2)) loss.backward() optimizer.step() 怎么改成用optuna调参

可以使用 Optuna 来调参。首先，您需要确定哪些超参数需要调整，例如学习率、权重衰减、隐藏层维度等。然后，您可以使用 Optuna 创建一个函数，用于训练模型并返回验证集的 R2 得分。最后，您可以使用 Optuna 运行该函数并获得最佳超参数组合。

下面是一些示例代码：

import optuna

def objective(trial):
    # 定义超参数搜索范围
    lr = trial.suggest_float('lr', 1e-5, 1e-2, log=True)
    weight_decay = trial.suggest_float('weight_decay', 1e-6, 1e-3, log=True)
    hidden_size = trial.suggest_int('hidden_size', 16, 256, log=True)

    # 定义模型和优化器
    model = HetGraphSAGE(nfeat1=drug_feat_dim, nfeat2=protein_feat_dim, nhid=hidden_size, out_dim=drug_node, gamma=gamma)
    optimizer = optim.Adam(model.parameters(), lr=lr, weight_decay=weight_decay)

    # 训练模型
    for epoch in range(epochs):
        model.train()
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output[train_mask].float(), drug_graph_label[train_mask].float())
        r2 = r2_score(drug_graph_label[test_mask].squeeze().detach().numpy(), output[test_mask].squeeze().detach().numpy())
        loss.backward()
        optimizer.step()

    return r2

# 使用 Optuna 运行超参数搜索
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=100)

# 打印最佳超参数组合
print('Best trial: score={}, params={}'.format(study.best_trial.value, study.best_trial.params))

在此示例中，我们使用 Optuna 运行了 100 次试验，并搜索了学习率、权重衰减和隐藏层维度这三个超参数。每次试验，我们都训练模型并返回验证集的 R2 得分。最后，我们打印出最佳超参数组合的得分和参数。注意，在此示例中，我们使用了默认的随机搜索算法，您也可以尝试其他的算法，例如 TPE 算法。