Llama3

Meta Llama是 Meta 公司推出的一系列大型语言模型，Llama3 系列语言模型（LLM）包括 Llama3 8B 和 Llama3 70B 两个版本，分别具备预训练和指令微调功能，支持 8K 上下文。这两个模型是在两个 24K GPU 定制集群上，使用 15万亿tokens 数据进行训练的。据 Meta 公司表示，这两个模型分别是 80亿 和 700亿 参数上的最佳表现。此外，一个参数超过 400B 的“最大Llama3”也正在紧锣密鼓地训练中，有望在性能上超越目前市场上的闭源王者 GPT-4 Turbo。