在你给的代码中，单元格会先进入编辑模式，再弹出自定义窗口

非常抱歉，我的回答有误。在我之前的回答中，我没有考虑到您不想让单元格进入编辑模式。下面是一种实现方式：

1. 在你的数据模型中，为需要自定义设置的单元格设置一个特殊的标志，例如Qt::UserRole + 1。

2. 在QAbstractTableModel的setData()函数中，检查要设置的数据项是否具有该特殊标志。如果是，就发出一个自定义信号，而不是直接打开自定义设置窗口。

3. 在您的视图中，连接自定义信号到一个槽函数，该槽函数打开自定义设置窗口并修改单元格的数据。

下面是一个示例代码：

bool MyTableModel::setData(const QModelIndex &index, const QVariant &value, int role)
{
    if (role == Qt::EditRole) {
        if (index.column() == MyCustomColumn) {
            // 判断是否为需要自定义设置的单元格
            if (index.data(Qt::UserRole + 1).toBool()) {
                // 发出自定义信号
                emit customDataRequested(index);
                return true;
            }
        }
    }
    // 不是需要自定义设置的单元格，直接保存数据
    return QAbstractTableModel::setData(index, value, role);
}

在上面的示例中，我们检查要设置的数据项是否为需要自定义设置的单元格。如果是，我们发出自定义信号customDataRequested()，并返回true，以指示数据项已成功设置。如果数据项不是需要自定义设置的单元格，则直接保存数据并返回true。

下面是在视图中连接信号的代码。在这个示例中，我们使用了QTableView作为视图。

// 连接自定义信号到槽函数
connect(tableView, &QTableView::customDataRequested, this, &MyWidget::showCustomDialog);

...

void MyWidget::showCustomDialog(const QModelIndex &index)
{
    // 打开自定义设置窗口
    MyCustomDialog dialog;
    if (dialog.exec() == QDialog::Accepted) {
        // 在自定义设置窗口中修改单元格的数据
        // 并将更改保存到模型中
        myTableModel->setData(index, dialog.getCustomData(), Qt::DisplayRole);
    }
}

在上面的示例中，我们连接自定义信号customDataRequested()到槽函数showCustomDialog()。在showCustomDialog()函数中，我们打开自定义设置窗口，修改单元格的数据，并使用setData()函数将更改保存到模型中。

请注意，showCustomDialog()函数的参数为QModelIndex类型，而不是QPersistentModelIndex类型。这是因为我们在视图中连接信号时，使用的是普通的QTableView对象，而不是QPersistentTableView对象。如果使用QPersistentTableView对象，则需要使用QPersistentModelIndex类型作为参数。