流式固定长度装箱数据集

IterablePackingDatasetPackingDataset一样,同样用于数据集的自动拼接装箱。不同的是IterablePackingDataset适配于大数据集或多模态场景下的流式读取。

本数据集同样需要额外调用pack_dataset()来开启装箱过程。

dataset.pack_dataset()

本数据集也有@remote_class装饰器,可以在ray的worker中运行。