Gemma-2B

1. 模型介绍

Gemma 是 Google 推出的一系列轻量级、最先进的开放模型，采用与创建 Gemini 模型相同的研究和技术构建。它们是文本到文本、仅限解码器的大型语言模型，提供英语版本，具有开放权重、预训练变体和指令调整变体。了解详情>>

2. 应用场景

Gemma 模型非常适合各种文本生成任务，包括问答、摘要和推理。它们的尺寸相对较小，因此可以将它们部署在资源有限的环境中，例如笔记本电脑、台式机或您自己的云基础设施，从而实现对最先进人工智能模型的民主化访问，并帮助促进每个人的创新。

3. 评测效果

4. 技术亮点

• 训练数据集

  这些模型在包含各种来源、总计 6 万亿个tokens的文本数据集上进行训练。以下是关键组件：

  • 网络文档：多样化的网络文本集合确保模型能够接触到广泛的语言风格、主题和词汇。主要是英语内容。
  • 代码：将模型暴露给代码有助于它学习编程语言的语法和模式，从而提高其生成代码或理解与代码相关的问题的能力。
  • 数学：数学文本训练有助于模型学习逻辑推理、符号表示以及解决数学查询。

  这些不同数据源的组合对于训练可以处理各种不同任务和文本格式的强大语言模型至关重要。

  数据预处理

  以下是应用于训练数据的关键数据清理和过滤方法：

  • CSAM 过滤：在数据准备过程的多个阶段应用严格的 CSAM（过滤，以确保排除有害和非法内容
  • 敏感数据过滤：为了使 Gemma 预训练模型安全可靠，我们使用自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。
  • 其他方法：根据内容质量进行过滤，并安全地符合 政策。

5. 相关资源

• 许可证： Gemma使用条款
• 生成式AI工具包责任性
• Gemma on Kaggle
• Gemma on Vertex Model Garden
• 更多信息了解：参考文档

免责声明

Gemma-2B模型来源于第三方，百度智能云千帆大模型平台不保证其合规性，请您在使用前慎重考虑，确保合法合规使用并遵守第三方的要求。 具体请查看基础模型的开源协议 Gemma使用条款及模型开源页面展示信息等。 如您发现模型/数据集/文件等有任何问题，请及时联系我们处理。 由于机器学习特性，就相同的输入可能产生不同的输出结果，请您注意甄别。