Mixtral

文章目录

    • 一、关于 Mixtral
      • Mistral AI、 La Plateforme
      • Mistral AI LLMs
    • 二、Mistral AI API
      • 账户设置
    • 三、Mixtral 说明
        • 通过稀疏架构推动开放模型的前沿
        • 表现
        • Instructed 模型
        • 使用开源部署堆栈部署 Mixtral
        • 在我们的平台上使用 Mixtral。


一、关于 Mixtral

  • 官网:https://mistral.ai/news/mixtral-of-experts/
  • 官方文档:https://docs.mistral.ai
  • github : https://github.com/mistralai
  • paper : Mixtral of Experts
    https://arxiv.org/abs/2401.04088

Mistral AI、 La Plateforme

Mistral AI 是一个研究实验室,致力于构建世界上最好的开源模型。 La Plateforme 使开发人员和企业能够在 Mistral 的开源和商业法学硕士的支持下构建新产品和应用程序。


Mistral AI LLMs

开源

  • Mistral 7b, our first dense model released September 2023
  • Mixtral 8x7b, our first sparse mixture-of-experts released December 2023
  • Mixtral 8x22b, our best open source model to date released April 2024

商业

  • Mistral Small, our cost-efficient reasoning model for low-latency workloads
  • Mistral Medium, useful for intermediate tasks that require moderate reasoning; please note that this model will be deprecated in the coming months
  • Mistral Large, our top-tier reasoning model for high-complexity tasks
  • Mistral Embeddings, our state-of-the-art semantic for extracting representation of text extracts

价格 : https://mistral.ai/technology/#pricing

ModelAvailable Open-weightAvailable via APIDescriptionMax TokensAPI Endpoints
Mistral 7B✔️✔️The first dense model released by Mistral AI, perfect for experimentation, customization, and quick iteration. At the time of the release, it matched the capabilities of models up to 30B parameters. Learn more on our blog post32kopen-mistral-7b
Mixtral 8x7B✔️✔️A sparse mixture of experts model. As such, it leverages up to 45B parameters but only uses about 12B during inference, leading to better inference throughput at the cost of more vRAM. Learn more on the dedicated blog post32kopen-mixtral-8x7b
Mixtral 8x22B✔️✔️A bigger sparse mixture of experts model. As such, it leverages up to 141B parameters but only uses about 39B during inference, leading to better inference throughput at the cost of more vRAM. Learn more on the dedicated blog post64kopen-mixtral-8x22b
Mistral Small✔️Suitable for simple tasks that one can do in bulk (Classification, Customer Support, or Text Generation)32kmistral-small-latest
Mistral Medium (will be deprecated in the coming months)✔️Ideal for intermediate tasks that require moderate reasoning (Data extraction, Summarizing a Document, Writing emails, Writing a Job Description, or Writing Product Descriptions)32kmistral-medium-latest
Mistral Large✔️Our flagship model that’s ideal for complex tasks that require large reasoning capabilities or are highly specialized (Synthetic Text Generation, Code Generation, RAG, or Agents). Learn more on our blog post32kmistral-large-latest
Mistral Embeddings✔️A model that converts text into numerical vectors of embeddings in 1024 dimensions. Embedding models enable retrieval and retrieval-augmented generation applications. It achieves a retrieval score of 55.26 on MTEB.8kmistral-embed

二、Mistral AI API

Mistral AI API通过以下方式为 LLM 应用程序提供支持:

  • 文本生成,支持流式传输并提供实时显示部分模型结果的能力
  • Embeddings,对于 RAG 很有用,它将文本的含义表示为数字列表
  • 函数调用,使 Mistral 模型能够连接到外部工具
  • JSON模式,开发者可以将响应格式设置为json_object
  • Guardrailing使开发人员能够在 Mistral 模型的系统级别实施策略

安装

pip install mistralai

Python Client 详情可见:https://github.com/mistralai/client-python


Mistral AI API 为开发人员提供了一种无缝方式,只需几行代码即可将 Mistral 最先进的模型集成到他们的应用程序和生产工作流程中。

API 目前可通过La Platform获取。您需要激活帐户中的付款才能启用 API 密钥。几分钟后,您将能够使用我们的chat端点:

from mistralai.client import MistralClient
from mistralai.models.chat_completion import ChatMessageapi_key = os.environ["MISTRAL_API_KEY"]
model = "mistral-large-latest"client = MistralClient(api_key=api_key)chat_response = client.chat(model=model,messages=[ChatMessage(role="user", content="What is the best French cheese?")]
)print(chat_response.choices[0].message.content)

要使用 Mistral AI 的嵌入 API 生成文本嵌入,我们可以向 API 端点发出请求并指定嵌入模型mistral-embed,同时提供输入文本列表。

然后,API 将以数值向量的形式返回相应的嵌入,可用于 NLP 应用程序中的进一步分析或处理。

from mistralai.client import MistralClientapi_key = os.environ["MISTRAL_API_KEY"]
model = "mistral-embed"client = MistralClient(api_key=api_key)embeddings_response = client.embeddings(model=model,input=["Embed this sentence.", "As well as this one."]
)print(embeddings_response)

有关 API 上提供的模型的完整描述,请前往**模型文档**。


账户设置

  • 首先,创建一个 Mistral 帐户或登录 console.mistral.ai。
  • 然后,导航至 WorkspaceBilling 以添加您的付款信息并激活您帐户上的付款。
  • 之后,转到 API keys 页面并通过单击 Create new key 来创建新的 API 密钥。请务必复制 API 密钥并安全保存,并且不要与任何人共享。

三、Mixtral 说明

Mistral AI 继续履行为开发者社区提供最佳开放模型的使命。人工智能的发展需要采取新的技术变革,而不仅仅是重用众所周知的架构和训练范例。最重要的是,它需要使社区从原始模型中受益,以促进新的发明和用途。

今天,该团队很自豪地发布 Mixtral 8x7B,这是一种具有开放权重的高质量稀疏专家混合模型 (SMoE)。根据 Apache 2.0 许可。 Mixtral 在大多数基准测试中都优于 Llama 2 70B,推理速度提高了 6 倍。它是最强大的开放权重模型,具有宽松的许可证,也是成本/性能权衡方面的最佳模型。特别是,它在大多数标准基准测试中匹配或优于 GPT3.5。

Mixtral 具有以下功能。

  • 它可以优雅地处理 32k 令牌的上下文。
  • 它可以处理英语、法语、意大利语、德语和西班牙语。
  • 它在代码生成方面表现出强大的性能。
  • 它可以微调为指令跟踪模型,在 MT-Bench 上获得 8.3 分。

通过稀疏架构推动开放模型的前沿

Mixtral 是一个稀疏的专家混合网络。它是一个纯解码器模型,其中前馈块从一组 8 个不同的参数组中进行选择。在每一层,对于每个令牌,路由器网络选择其中的两个组(“专家”)来处理令牌并相加地组合它们的输出。

该技术增加了模型的参数数量,同时控制了成本和延迟,因为该模型仅使用每个令牌总参数集的一小部分。具体来说,Mixtral 共有 46.7B 个参数,但每个代币仅使用 12.9B 个参数。因此,它以与 12.9B 模型相同的速度和相同的成本处理输入并生成输出。

Mixtral 根据从开放网络提取的数据进行了预训练——我们同时训练专家和路由器。


表现

我们将 Mixtral 与 Llama 2 系列和 GPT3.5 基础模型进行比较。 Mixtral 在大多数基准测试中均匹配或优于 Llama 2 70B 以及 GPT3.5。

在这里插入图片描述


在下图中,我们衡量了质量与推理预算的权衡。与 Llama 2 型号相比,Mistral 7B 和 Mixtral 8x7B 属于高效型号系列。

在这里插入图片描述


下表给出了上图的详细结果。

在这里插入图片描述


**幻觉和偏见。**为了识别可能的缺陷,通过微调/偏好建模来纠正,我们测量了 BBQ/BOLD 上的基本模型性能。

在这里插入图片描述

与 Llama 2 相比,Mixtral 对 BBQ 基准的偏差较小。总体而言,Mixtral 在 BOLD 上比 Llama 2 显示出更积极的情绪,每个维度内的差异相似。


语言。 Mixtral 8x7B 精通法语、德语、西班牙语、意大利语和英语。

在这里插入图片描述


Instructed 模型

我们与 Mixtral 8x7B 一起发布了 Mixtral 8x7B Instruct。该模型已通过监督微调和直接偏好优化 (DPO) 进行优化,以仔细遵循指令。在MT-Bench上,它达到了8.30的分数,使其成为最好的开源模型,性能可与GPT3.5相媲美。

注意:可以优雅地提示 Mixtral 禁止构建需要严格审核的应用程序的某些输出,如此处所示。适当的偏好调整也可以达到此目的。请记住,如果没有这样的提示,模型将仅遵循给出的任何指示。


使用开源部署堆栈部署 Mixtral

为了使社区能够使用完全开源的堆栈运行 Mixtral,我们已提交对 vLLM 项目的更改,该项目集成了 Megablocks CUDA 内核以实现高效推理。

Skypilot 允许在云中的任何实例上部署 vLLM 端点。


在我们的平台上使用 Mixtral。

目前,我们在端点mistral-small后面使用 Mixtral 8x7B ,该端点已在 beta 版中提供。注册即可尽早访问所有生成和嵌入端点。


2024-05-14(二)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1423770.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

网站有存在哪些类型的漏洞,网站漏洞存在哪些危害,该怎么解决网站漏洞问题

在数字化日益发展的今天,随着互联网的普及和深入,网站安全已成为企业、组织乃至个人都必须高度重视的安全问题。而网站漏洞作为威胁网站安全的重要因素之一,其类型多种多样,不仅可能导致数据泄露、系统崩溃,还可能为黑…

在 Cython 中高效访问 scipy lil_matrix

在 Cython 中高效地访问 scipy 的 lil_matrix(LInked List format)可以通过以下步骤实现: 导入所需的模块: 首先,导入必要的模块,包括 numpy 和 scipy.sparse 中的 lil_matrix。定义函数原型: …

Python邮件处理库之flanker使用详解

概要 Flanker是一个开源的邮件处理库,专门设计用于解析、验证和构建电子邮件地址和MIME消息。由Mailgun开发,它旨在提高邮件处理的效率和准确性,尤其适用于需要高效邮件验证和解析的应用程序。 安装 安装Flanker非常简单,可以通过Python的包管理器pip进行安装: pip ins…

基于uniapp+vue3+ts开发微信小程序项目实战

🚀 作者 :“二当家-小D” 🚀 博主简介:⭐前荔枝FM架构师、阿里资深工程师||曾任职于阿里巴巴担任多个项目负责人,8年开发架构经验,精通java,擅长分布式高并发架构,自动化压力测试,微服务容器化k…

重磅消息!OpenAI取消短信验证码注册账号!

博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能! 专栏链接: 🔗 精选专栏: 《面试题大全》 — 面试准备的宝典!《IDEA开发秘籍》 — 提升你的IDEA技能!《100天精通鸿蒙》 …

Leetcode—3148. 矩阵中的最大得分【中等】

2024每日刷题&#xff08;137&#xff09; Leetcode—3148. 矩阵中的最大得分 算法思想 实现代码 class Solution { public:int maxScore(vector<vector<int>>& grid) {int m grid.size();int n grid[0].size();int ans INT_MIN;vector<vector<int&…

Elasticsearch 在滴滴的应用与实践

滴滴 Elasticsearch 简介 简介 Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 接口的全文搜索引擎&#xff0c;其每个字段均可被索引&#xff0c;且能够横向扩展至数以百计的服务器存储以及处理 TB 级的数据&#xff0c;其可以在极短的时间内存储、搜索和分析大…

用HAL库改写江科大的stm32入门例子4-1 OLED

大体 步骤&#xff1a; step1&#xff1a;使用STM32CubeMX初始化I2C1&#xff0c;生成初始化代码 step2&#xff1a;将任意一个库导入到工程&#xff0c;配置好编译路径 step3&#xff1a;调用函数即可 IIC原理图&#xff1a; 接线图&#xff1a; 先设置clock&#xff1a; 开…

Vue3使用datav3报错的三个问题解决

我这里写的是按需引入 报错问题Cannot find module dataview/datav-vue3 修改datav源码中的package.json文件 修改为 "module": "./es/index.mjs", 然就就会遇见新的报错问题 报错问题TypeError: Cannot read properties of null (reading $el) 然后修改…

【源码+文档+调试讲解】微信小程序家政项目小程序

摘要 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了微信小程序家政项目小程序的开发全过程。通过分析微信小程序家政项目小程序管理的不足&#xff0c;创建了一个计算机管理微信小程序家政项目小程序的方案。文章介…

GPT 4o意味着什么?OpenAI加苹果,AI手机势不可挡!

ChatGPT带飞Siri? 当地时间5月13日上午10点&#xff0c;OpenAI在春季发布会上发布了GPT-4的迭代版本——GPT-4o。据悉&#xff0c;GPT-4o的速度是上一代的两倍&#xff0c;并且对用户更友好&#xff1a;语音唤起、实时对话、无需注册、免费使用。 OpenAI表示&#xff0c;GPT…

AR项目开发的技术难点

AR项目开发涉及多种技术&#xff0c;例如计算机视觉、图形学、传感器融合和人机交互。因此&#xff0c;AR项目开发存在以下难点&#xff0c;AR项目开发是一项具有挑战性的工作。但是&#xff0c;随着技术的进步和标准的完善&#xff0c;AR项目开发将会变得更加容易。北京木奇移…

Milvus 快速入门

引言 在本篇文章中&#xff0c;我们将介绍 Milvus 的基本概念&#xff0c;并通过一个简单的示例展示如何在 Milvus 中创建集合、插入向量和执行搜索。最后&#xff0c;我们将概览 Milvus 提供的 API。 一、基本概念 1.1 集合 (Collection) 在 Milvus 中&#xff0c;集合类似…

12.snmp协议监控

snmp协议监控 安装snmp服务器端 yum install net-snmp -y服务器端&#xff1a;配置&#xff08;centos&#xff09; vim /etc/snmp/snmpd.conf com2sec notConfigUser default public view systemview included .1服务器端&#xff1a;配置&#xff0c;瑞数防护系统botgate&…

HTML常见标签-段落标签

段落标签 段落标签一般用于定义一些在页面上要显示的大段文字,多个段落标签之间实现自动分段的效果 代码 <p>记者从工信部了解到&#xff0c;近年来我国算力产业规模快速增长&#xff0c;年增长率近30%&#xff0c;算力规模排名全球第二。</p><p>工信部统计…

为Akamai 云平台上部署的资源配置2FA跳板机-上

为重要账户启用2FA&#xff0c;这几乎已经成为保护账户和数据安全的一种标准做法。无论登录常见应用或服务&#xff0c;或是访问企业内部资源&#xff0c;时不时都会需要进行2FA验证。那么当你在Akamai Connected Cloud云平台中部署了各类资源&#xff08;云计算、云存储、SaaS…

2万字实操入门案例之在Springboot框架下用Mybatis简化JDBC开发实现基础的操作MySQL之预编译SQL主键返回增删改查

环境准备 准备数据库表 use mybatis;-- 部门管理 create table dept(id int unsigned primary key auto_increment comment 主键ID,name varchar(10) not null unique comment 部门名称,create_time datetime not null comment 创建时间,update_time datetime not null comme…

32、Flink 的 DataStream API 物理分区算子详解

3.物理分区 Flink 提供以下方法让用户根据需要在数据转换完成后对数据分区进行更细粒度的配置。 a&#xff09;自定义分区 DataStream → DataStream 使用自定义的 Partitioner 为每个元素选择目标任务。 dataStream.partitionCustom(partitioner, "someKey"); …

x264 帧类型代价计算原理:slicetype_frame_cost 函数分析

slicetype_frame_cost 函数 函数功能 这个函数的核心是计算编码一系列帧(从 p0 到p1,以 b 为当前帧)的代价 cost,并根据这个代价 cost来辅助帧类型决策。它考虑了运动搜索的结果、帧间和帧内预测的成本,并且可以并行处理以提高效率。该函数在帧类型决策、MBtree 分析、场…

2024上半年软考准考证什么时候出?怎么打印?

2024上半年软考准考证打印时间&#xff1a; 北京&#xff1a;5月21日至5月24日 天津&#xff1a;5月21日9:00后 河北&#xff1a;5月20日起 山西&#xff1a;5月20日上午9:00至5月28日下午14:00 内蒙古&#xff1a;5月20日-5月25日 吉林&#xff1a;5月20日开始 辽宁&am…