II-LK：实时稀疏光流计算加速与细节

Sparse
Optical
Flow
5星 · 超过95%的资源 需积分: 9 12 下载量 32 浏览量 更新于2024-09-28 收藏 384KB PDF 举报
本文主要探讨了II-LK，一个针对实时场景的稀疏光流计算方法的改进实现。在计算机视觉领域，光流估计是关键任务之一，常用于运动估计算法和目标跟踪等应用场景。原始的Lucas-Kanade (LK) 算法在处理密集像素时效率较低，尤其是在实时监控或大规模人群分析中，性能瓶颈明显。 作者提出了一种利用积分图像（integral images）来加速光流计算的新策略。积分图像是一种空间数据结构，可以快速地计算区域内任意两点之间的和，从而显著减少了像素级的运算量。通过修改LK能量函数，允许算法利用积分图像的优势，实现了速度上的显著提升，同时对计算出的光流质量影响较小。这种方法的重点在于减少冗余计算，仅在包含特征点的区域进行积分图像更新，从而优化了计算资源的使用。 为了进一步提高效率，作者结合了一种高效的扫描线算法，使得积分图像的计算仅局限于需要追踪特征的区域。这样不仅提高了整体的计算速度，还使得实时监控系统能够在处理大规模场景时保持流畅。这种实时的稀疏光流计算方法对于实时场景描述和人群行为分析具有重要的实际应用价值，如在视频监控、自动驾驶、无人机导航等场景中，能够实时高效地提取和理解目标的移动信息。 II-LK方法通过巧妙地融合积分图像技术与优化的算法策略，提供了一种在保证精度的同时大幅提升光流计算效率的方法。这对于提升整个计算机视觉系统的实时性和处理能力具有重要意义，为实时监控和复杂环境下的智能决策提供了强大的工具。

SBA: A Software Package for Generic Sparse Bundle Adjustment

2020-09-18 上传
SBA: A Software Package for Generic Sparse Bundle Adjustment SBA: A Software Package for Generic Sparse Bundle Adjustment SBA: A Software Package for Generic Sparse Bundle Adjustment SBA: A Software ...

转成matlab： npair = nbk[idx].shape[0] rk = (nbk[idx] == k).nonzero()[0] Lk = sp.sparse.lil_matrix((npair,npair)) Lk.setdiag(lk) Lk[:,rk] = -(lk.reshape(-1,1)) Lk[rk,:] = -(lk.reshape(1,-1)) Lk_tensor.append(sp.sparse.csr_matrix(Lk)) si_map[k] = idx

2023-05-25 上传
npair = size(nbk{idx}, 1);...Lk = sparse(npair, npair); Lk(1:npair+1:end) = lk; Lk(:,rk) = -repmat(lk', npair, 1); Lk(rk,:) = -repmat(lk, 1, npair); Lk_tensor{end+1} = csr_matrix(Lk); si_map(k) = idx;

def validate(val_loader, model, epoch): global args batch_time = AverageMeter() flow2_EPEs = AverageMeter() # switch to evaluate mode model.eval() end = time.time() for i, batch in enumerate(val_loader): target_x = batch['Dispx'].to(device) target_y = batch['Dispy'].to(device) target = torch.cat([target_x,target_y],1).to(device) in_ref = batch['Ref'].float().to(device) in_ref = torch.cat([in_ref,in_ref,in_ref],1).to(device) in_def = batch['Def'].float().to(device) in_def = torch.cat([in_def,in_def,in_def],1).to(device) input = torch.cat([in_ref,in_def],1).to(device) # compute output output = model(input) flow2_EPE = args.div_flow*realEPE(output, target, sparse=args.sparse) # record EPE flow2_EPEs.update(flow2_EPE.item(), target.size(0)) # measure elapsed time batch_time.update(time.time() - end) end = time.time() if i % args.print_freq == 0: print('Test: [{0}/{1}]\t Time {2}\t EPE {3}' .format(i, len(val_loader), batch_time, flow2_EPEs)) #break print(' * EPE {:.3f}'.format(flow2_EPEs.avg)) return flow2_EPEs.avg

2023-07-08 上传
- 使用真实的位移 `target` 和稀疏度参数 `args.sparse` 计算平均端点误差 `flow2_EPE`。 - 记录每个批次的平均端点误差到 `flow2_EPEs` 中，并更新统计量。 - 同时，记录每个批次的运行时间到 `batch_time` 中，并...

这段代码什么意思：Lk_tensor = {}; nbk = {}; [row, column, nnz_val] = find(laplacian_matrix'); [sorted_col_vals, sorted_col_args] = sort(column); breaks_row = find(diff(row)); breaks_col = find(diff(sorted_col_vals)); si_map = containers.Map(); for idx = 1:length(subset) k = subset(idx); if k == 1 nbk{idx} = column(1:breaks_row(k)+1)'; lk = nnz_val(sorted_col_args(1:breaks_col(k)+1)); elseif k == n_samples nbk{idx} = column(breaks_row(k-1)+1:end)'; lk = nnz_val(sorted_col_args(breaks_col(k-1)+1:end)); else nbk{idx} = column(breaks_row(k-1)+1:breaks_row(k)+1)'; lk = nnz_val(sorted_col_args(breaks_col(k-1)+1:breaks_col(k)+1)); end npair = length(nbk{idx}); rk = find(nbk{idx} == k); Lk = sparse(npair,npair); Lk = spdiags(lk,0,Lk); Lk(:,rk) = -(lk'); Lk(rk,:) = -(lk); Lk_tensor{idx} = Lk; si_map(k) = idx; end assert(length(Lk_tensor) == length(subset), 'Size of Lk_tensor should be the same as subset.'); end

2023-05-24 上传
- 构建块状 Laplacian 矩阵 Lk，其中对角线元素为 lk，第 rk 行和第 rk 列的元素为 -lk。 - 将 Lk 存储到 Lk_tensor 中，并更新映射表 si_map。 5. 最后使用 assert 函数判断 Lk_tensor 的长度是否等于 subset 的...

torch.sparse_csr

2023-03-28 上传
torch.sparse_csr is a module in PyTorch that provides support for compressed sparse row (CSR) matrices. CSR matrices are a popular format for storing sparse matrices in a compressed form, where only ...

def EPE(input_flow, target_flow, sparse=False, mean=True): EPE_map = torch.norm(target_flow-input_flow,2,1) batch_size = EPE_map.size(0) if sparse: # invalid flow is defined with both flow coordinates to be exactly 0 mask = (target_flow[:,0] == 0) & (target_flow[:,1] == 0) EPE_map = EPE_map[~mask] if mean: return EPE_map.mean() else: return EPE_map.sum()/batch_size

2023-07-10 上传
函数接受两个输入参数：`input_flow`表示预测的光流场，`target_flow`表示真实的光流场。还有两个可选参数：`sparse`表示是否只考虑有效的光流点，`mean`表示是否返回平均端点误差。 函数首先计算了预测光流场和...

解释def sparse_matrix_add(matrix_1, matrix_2): # 矩阵的加减法要求矩阵行数和列数相同 if matrix_1.shape == matrix_2.shape: print('---- 两矩阵相加结果 ----') print(matrix_1 + matrix_2) else: print('\n---输入矩阵无法进行矩阵运算，请重新输入---') print('---- 矩阵的加减法要求矩阵行数和列数相同 ----') a, b = data_init() sparse_matrix_add(a, b) def sparse_matrix_sub(matrix_1, matrix_2): # 矩阵的加减法要求矩阵行数和列数相同 if matrix_1.shape == matrix_2.shape: print('---- 两矩阵相减结果 ----') print(matrix_1 - matrix_2) else: print('\n---输入矩阵无法进行矩阵运算，请重新输入---') print('---- 矩阵的加减法要求矩阵行数和列数相同 ----') a, b = data_init() sparse_matrix_sub(a, b) # 采用numpy库的dot方法 def sparse_matrix_mul(matrix_1, matrix_2): # 矩阵乘法 a的列数与b的行数相同时可以进行乘法运算 if matrix_1.shape[1] == matrix_2.shape[0]: print('---- 两矩阵相乘结果 ----') #采用numpatrix_1.shape[1] == matrix_2.shape[0y库的dot方法 print(np.dot(matrix_1, matrix_2)) else: print('\n---输入矩阵无法进行矩阵运算，请重新输入---') print('--- 矩阵乘法 a的列数与b的行数相同时可以进行乘法运算 ---') a, b = data_init() sparse_matrix_mul(a, b)

2023-06-08 上传
这是三个稀疏矩阵运算函数：`sparse_matrix_add`、`sparse_matrix_sub` 和 `sparse_matrix_mul`。 `sparse_matrix_add` 和 `sparse_matrix_sub` 函数的实现非常类似。它们都检查两个矩阵的形状是否相同，如果相同，...

sparse matrix LU decomposition

2023-05-09 上传
Sparse matrix LU decomposition is particularly useful for large sparse matrices, where the computation of the full LU decomposition would be too costly in terms of time and memory.

def EPE(input_flow, target_flow, sparse=False, mean=True): EPE_map = torch.norm(target_flow-input_flow,2,1) batch_size = EPE_map.size(0) if sparse: # invalid flow is defined with both flow coordinates to be exactly 0 mask = (target_flow[:,0] == 0) & (target_flow[:,1] == 0) EPE_map = EPE_map[~mask] if mean: return EPE_map.mean() else: return EPE_map.sum()/batch_size

2023-06-08 上传
这段代码是用来计算光流场误差（End Point Error，EPE）的，其中input_flow表示输入的光流场，target_flow表示目标光流场。如果sparse参数为True，则会忽略无效的光流向量，即目标光流场中两个坐标都为0的向量。如果...

def sparse_matrix_add(matrix_1, matrix_2): # 矩阵的加减法要求矩阵行数和列数相同 if matrix_1.shape == matrix_2.shape: print('---- 两矩阵相加结果 ----') print(matrix_1 + matrix_2) else: print('\n---输入矩阵无法进行矩阵运算，请重新输入---') print('---- 矩阵的加减法要求矩阵行数和列数相同 ----') a, b = data_init() sparse_matrix_add(a, b) def sparse_matrix_sub(matrix_1, matrix_2): # 矩阵的加减法要求矩阵行数和列数相同 if matrix_1.shape == matrix_2.shape: print('---- 两矩阵相减结果 ----') print(matrix_1 - matrix_2) else: print('\n---输入矩阵无法进行矩阵运算，请重新输入---') print('---- 矩阵的加减法要求矩阵行数和列数相同 ----') a, b = data_init() sparse_matrix_sub(a, b) # 采用numpy库的dot方法 def sparse_matrix_mul(matrix_1, matrix_2): # 矩阵乘法 a的列数与b的行数相同时可以进行乘法运算 if matrix_1.shape[1] == matrix_2.shape[0]: print('---- 两矩阵相乘结果 ----') #采用numpatrix_1.shape[1] == matrix_2.shape[0y库的dot方法 print(np.dot(matrix_1, matrix_2)) else: print('\n---输入矩阵无法进行矩阵运算，请重新输入---') print('--- 解释矩阵乘法 a的列数与b的行数相同时可以进行乘法运算 ---') a, b = data_init() sparse_matrix_mul(a, b)

2023-06-08 上传
第一个函数是sparse_matrix_add，它的作用是将两个矩阵相加，并打印结果。如果两个矩阵的形状不相同，则会打印错误消息并重新调用data_init函数重新输入两个矩阵。第二个函数是sparse_matrix_sub，它的作用是将两个...
O天涯海阁O
  • 粉丝: 1552
  • 资源: 90
上传资源 快速赚钱

最新资源