openbmb

openbmb

openbmb,大模型开源工具链,打造大规模预训练语言模型库与相关工具

Visit Site →

openbmb官网,大模型开源工具链,打造大规模预训练语言模型库与相关工具

什么是openbmb?

OpenBMB全称为Open Lab for Big Model Base，旨在打造大规模预训练语言模型库与相关工具，加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛。

openbmb官网: https://www.openbmb.org

openbmb github项目地址: https://github.com/OpenBMB

OpenBMB全称为Open Lab for Big Model Base，旨在打造大规模预训练语言模型库与相关工具，加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛，与国内外开发者共同努力形成大模型开源社区，推动大模型生态发展，实现大模型的标准化、普及化和实用化，让大模型飞入千家万户。

OpenBMB将努力建设大模型开源社区，团结广大开发者不断完善大模型从训练、微调、推理到应用的全流程配套工具。基于贡献者团队前期工作，OpenBMB设计了大模型全流程研发框架，并初步开发了相关工具，这些工具各司其职、相互协作，共同实现大模型从训练、微调到推理的全流程高效计算。

OpenBMB全称为Open Lab for Big Model Base，旨在打造大规模预训练语言模型库与相关工具，加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛，与国内外开发者共同努力形成大模型开源社区，推动大模型生态发展，实现大模型的标准化、普及化和实用化，让大模型飞入千家万户。

BMTrain

大模型训练“发动机”。BMTrain进行高效的大模型预训练与微调。与DeepSpeed等框架相比，BMTrain训练模型成本可节省90%。

BMCook

大模型“瘦身”工具库。BMCook进行大模型高效压缩，提高运行效率。通过量化、剪枝、蒸馏、专家化等算法组合，可保持原模型90%+效果，模型推理加速10倍。

BMInf

千元级显卡玩转大模型推理。BMInf实现大模型低成本高效推理计算，使用单块千元级显卡（GTX 1060）即可进行百亿参数大模型推理。

OpenPrompt

大模型提示学习利器。OpenPrompt提供统一接口的提示学习模板语言， 它的组合性和模块化可以让你轻松部署提示学习方法以驱动大模型。

OpenDelta

“小”参数撬动“大”模型。OpenDelta进行参数高效的大模型微调，仅更新极少参数（小于5%）即可达到全参数微调的效果。 

ModelCenter

大模型仓库。ModelCenter基于BMTrain工具实现了一系列预训练语言模型，支持高效、低成本、可扩展性强的模型微调及分布式训练。

OpenBMB能力体系

谋定而动，OpenBMB将从数据、工具、模型、协议四个层面构建应用便捷、能力全面、使用规范的大规模预训练模型库。

OpenBMB能力体系具体包括：
▶  数据层
构建大规模数据自动收集、自动清洗、高效存储模块与相关工具，为大模型训练提供数据支持。
▶  工具层
聚焦模型训练、模型微调、模型推理、模型应用四个大模型主要场景，推出配套开源工具包，提升各环节效率，降低计算和人力成本。
▶  模型层
构建OpenBMB工具支持的开源大模型库，包括BERT、GPT、T5等通用大模型和CPM、EVA、GLM等悟道开源大模型，并不断完善添加新模型，形成覆盖全面的模型能力。
▶  协议层
发布通用模型许可协议，规范与保护大模型发布使用过程中发布者与使用者权利与义务，目前协议初稿已经开源（https://www.openbmb.org/license）。
大模型相关工具在OpenBMB能力体系中发挥着核心作用。OpenBMB将努力建设大模型开源社区，团结广大开发者不断完善大模型从训练、微调、推理到应用的全流程配套工具。基于发起人团队前期工作，OpenBMB设计了大模型全流程研发框架，并初步开发了相关工具，这些工具各司其职、相互协作，共同实现大模型从训练、微调到推理的全流程高效计算。

OpenBMB工具

▶  模型训练套件
BMData：大模型“原料”收集器
BMData进行高质量数据清洗、处理与存储，为大模型训练提供全面、综合的数据支持。
BMTrain：大模型训练“发动机”
BMTrain进行高效的大模型预训练与微调。与DeepSpeed等框架相比，BMTrain训练模型成本可节省90%。
BMCook：大模型“瘦身”工具库
BMCook进行大模型高效压缩，提升运行效率。通过量化、剪枝、蒸馏、专家