Petals 简介

Petal工具是一个去中心化平台，运行一个类似于Bloom-176b的大型语言模型。它能够加载模型的小部分以进行推理和微调。单步推理大约需要1秒钟（标记），并可以实现对数百个标记/秒的并行推理。这款工具不仅仅提供了一个经典的语言模型API，还利用微调采样方法，允许用户执行自定义路径并查看隐藏状态。Petal还提供了灵活的PyTorch API。它是BigScience研究小组项目的一部分。

特性

• 自然语言处理：
• 文本生成：
• 情感分析

相关链接

官网：https://petals.ml/