流式固定长度装箱数据集
IterablePackingDataset和PackingDataset一样,同样用于数据集的自动拼接装箱。不同的是IterablePackingDataset适配于大数据集或多模态场景下的流式读取。
本数据集同样需要额外调用pack_dataset()来开启装箱过程。
dataset.pack_dataset()
本数据集也有@remote_class装饰器,可以在ray的worker中运行。
IterablePackingDataset和PackingDataset一样,同样用于数据集的自动拼接装箱。不同的是IterablePackingDataset适配于大数据集或多模态场景下的流式读取。
本数据集同样需要额外调用pack_dataset()来开启装箱过程。
dataset.pack_dataset()
本数据集也有@remote_class装饰器,可以在ray的worker中运行。