开源大模型

百川智能以帮助大众轻松、普惠地获取世界知识和专业服务为使命，致力于通过语言AI的突破，构建中国最优秀的大模型底座。百川大模型，融合了意图理解、信息检索以及强化学习技术，结合有监督微调与人类意图对齐，在知识问答、文本创作领域表现突出。

Meta Llama是 Meta 公司推出的一系列大型语言模型，Llama3 系列语言模型（LLM）包括 Llama3 8B 和 Llama3 70B 两个版本，分别具备预训练和指令微调功能，支持 8K 上下文。这两个模型是在两个 24K GPU 定制集群上，使用 15万亿tokens 数据进行训练的。据 Meta 公司表示，这两个模型分别是 80亿 和 700亿 参数上的最佳表现。此外，一个参数超过 400B 的“最大Llama3”也正在紧锣密鼓地训练中，有望在性能上超越目前市场上的闭源王者 GPT-4 Turbo。