twinkle数据集预处理的时间很长

[120L021602]

Checklist / 检查清单

• I have searched existing issues, and this is a new feature request. / 我已经搜索过现有的 issues，确认这是一个新的 Feature Request。

Feature Request Description / Feature Request 描述

用twinkle训练，数据集预处理的时间很长。我有22万条训练数据，开启了8个进程做数据预处理，显示处理速度是每秒处理3条多数据样本，总处理时间大概在30小时左右，比ms-swift慢不少。

Pull Request / Pull Request 信息

No response

[tastelikefeet]

每条数据长度多长？

[tastelikefeet]

twinkle 的 encode 为了实现仅 labels 训练，因此是按轮次进行 encode 的，所以多轮情况下会慢，所以需要开多进程处理。
相比之下，swift 由于有完整的各模型 template 设计，因此可以一次性 encode 来完成，所以处理时长有较大出入。
如果你熟悉 swift 的 template， 也可以使用 swift 的 dataset+twinkle 的 train loop，twinkle 在这方面是支持自由组合的

[120L021602]

数据长度为64k