faiss实时更新索引

基于faiss的检索服务可以实现实时更新索引。可以采用多分片的方式，在内存中建一个小分片，当内存使用达到一定量时，把索引刷到磁盘上，然后根据索引的大小，针对量级差异较小的做数据merge。这种方式可以实现实时更新索引，同时避免了归并开销。另外，还可以采用预先训练模型的方式，针对倒排采用预分配空间的方式实现。这种方式可以实现建库和搜索更实时，而且没有归并开销，没有训练开销。但是对faiss索引修改较大，有一定的内存开销。为了实现数据持久化，可以考虑放到共享内存中，达到一定大小再落到磁盘上。预分空间的实现方式，在原有倒排中保存的是偏移信息，指向实际数据，实际内存的分片采用大块分配，方便管理避免小块内存影响性能(考虑性能和内存浪费情况)。