- 提高转换速度
提高转换速度
默认情况下 MLeap 转换 Leap Frame 的性能已经很好了,但有时候某些场景要求更快的速度。幸运的是,我们有一个基于数据行的转换器,用于减少每次转换 Leap Frame 时 Schema 转换的时间开销。那么这个转换器是怎么做到的呢?
- 在每次调用转换接口前,计算好 Leap 数据帧的输入 / 输出 Schema
- 当转换一条数据记录时,预分配足够的内存空间用于存储所有的结果数据
- 将 Transformer 的计算结果填进之前预分配的空间,并返回转换后的数据记录
相对比实际的数据处理过程,大量的时间都被花费在了转换 Schema 的过程中,因此在特定情况下可以实现很大的速度提升。