flink的异步io
时间: 2023-09-10 19:04:35 浏览: 105
Flink的异步IO是指在流处理中,可以并发地处理多个异步请求和接收多个响应,从而提高处理吞吐量。异步IO的控制参数包括超时参数和容量参数。超时参数定义了异步请求发出多久后未得到响应即被认定为失败,防止一直等待得不到响应的请求。容量参数定义了可以同时进行的异步请求数,限制并发请求的数量,避免积压。\[1\]
Flink提供了两种模式来控制异步IO的结果记录顺序。无序模式是异步请求一结束就立刻发出结果记录,流中记录的顺序在经过异步IO算子之后发生了改变。这种模式具有最低的延迟和最少的开销,适用于使用处理时间作为基本时间特征的场景。有序模式保持了流的顺序,发出结果记录的顺序与触发异步请求的顺序相同。为了实现这一点,算子将缓冲一个结果记录直到这条记录前面的所有记录都发出(或超时)。有序模式通常会带来一些额外的延迟和checkpoint开销,因为记录或结果需要在checkpoint的状态中保存更长的时间。\[3\]
总之,Flink的异步IO可以通过控制参数来限制并发请求数和超时时间,从而提高流处理的吞吐量。同时,可以选择无序模式或有序模式来控制结果记录的顺序。
#### 引用[.reference_title]
- *1* *2* *3* [Flink之外部数据访问的异步 I/O](https://blog.csdn.net/weixin_45366499/article/details/115265800)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文