侧边栏壁纸
博主头像
AI研究僧

hycj89@163.com

  • 累计撰写 1,899 篇文章
  • 累计创建 179 个标签
  • 累计收到 1 条评论
标签搜索

目 录CONTENT

文章目录

通义千问-阿里云开源的自然语言大模型

AI研究僧
2023-08-07 / 0 评论 / 0 点赞 / 106 阅读 / 618 字

简介

通义千问-7B(Qwen-7B) 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。它基于Transformer架构构建而成,通过在大规模的预训练数据上进行训练来实现。这个预训练数据集类型多样,包括网络文本、专业书籍、代码等广泛领域的数据。除了通用领域,还涵盖了各种专业领域。

开源免费

在构建Qwen-7B的基础上,还开发了基于此模型的AI助手,称为Qwen-7B-Chat。

特性

Qwen-7B系列模型的主要特点如下:

  • 大规模高质量预训练数据:我们使用了超过2.2万亿token的自建大规模预训练数据集进行语言模型的预训练。这个数据集包括多种数据类型,涵盖通用领域和专业领域,如文本和代码等。

  • 优秀的模型性能:相较于同等规模的开源模型,Qwen-7B在多个评测数据集上表现出显著的优势,甚至超越了一些更大规模(如12-13B等)的模型。其能力涵盖自然语言理解与生成、数学运算解题、代码生成等多个领域。

  • 更好地支持多语言:通过使用更大的词表进行分词,分词器在分词效率上有所提升,同时对其他语言的支持也更加友好。用户可以基于Qwen-7B更便捷地训练特定语言的7B语言模型。

  • 8K的上下文长度:Qwen-7B和Qwen-7B-Chat都能够支持8K的上下文长度,这使得用户可以输入更长的提示信息。

  • 支持插件调用:Qwen-7B-Chat针对插件调用相关的数据做了特定优化,当前模型能够有效地调用插件并升级为Agent。这提供了更多灵活性和可扩展性。

相关链接

github:https://github.com/QwenLM/Qwen-7B
Qwen-7B-Chat:https://modelscope.cn/studios/qwen/Qwen-7B-Chat-Demo/summary/ 对话服务地址

吐槽:官方写的很厉害,让他写一首杜甫风格的赞美黄河的诗,写的一言难尽。与ChatGPT相去甚远,无聊的话可以试着玩玩。

博主关闭了所有页面的评论