Qwen2 Audio 7B：最新！阿里开源语音交互大模型 ！（本地部署教程）

在本文中，我们将本地安装这个由阿里推出的全新Qwen模型，它是一个名为Qwen2 Audio 7B Instruct的音频处理模型。

这个模型非常适用于音频分析和处理，此外你还可以将它集成到NLP管道中。

它能够接受各种音频信号输入，并执行音频分析或针对语音指令给出直接的文本响应。这个模型提供了两种不同的音频交互模式。

第一种模式是语音聊天模式，你可以自由地进行语音交互，即使不输入任何文本也可以。你可以流式传输你的语音，它会将其转换为音频。

第二种音频分析模式，你可以直接提供音频和文本指令，例如一个wav文件，它会进行音频分析并根据分析结果给出输出。

阿里同时也推出了一个微调版的Instruct模型，我们将安装这个Instruct模型。

创建一个conda环境并激活它。

让我们等待环境安装完成，然后我们将开始安装所需的前置软件。

首先，我安装了PyTorch，

然后我还将从源代码安装Transformers库，因为这个模型非常新，PyPI上还没有提供这个版本。

让我们等待这个安装完成，PyTorch已经安装完成，它是一个基础的深度学习库。

接着，我们安装Transformers库，

我是从GitHub安装的，即从源代码安装。这是一个用于自然语言处理任务的基础库，主要用于文本生成和分类。

让我们等待它安装完成，这个库不大，只需要几秒钟。现在安装完成了。

接下来，我们安装Hugging Face Hub和Accelerate库。

Hugging Face Hub用于访问Hugging Face平台，Accelerate用于优化模型。两个库都已安装完成。

现在让我们安装一些辅助库，我将一次性粘贴所有命令来加快速度。你看到我们正在安装很多库，包括Librosa、Numpy、Scipy等，这些库用于音频信号处理、分析和操作。

我们还安装了Pydub，它用于操作音频文件，提供了一个易于使用的界面，可以进行剪切、复制和粘贴音频片段等任务。你可能不需要用到所有功能，但安装完整的库套件总是好的。安装已经完成了。

最后，我们还安装FFmpeg，

因为我使用的是conda环境，所以我会通过命令将它链接到conda。FFmpeg是一个强大的开源多媒体框架，用于处理、转换和流式传输音频和视频文件。

再安装一下jupyter开发环境

ok，现在，所有前置条件都已经安装完成了。

现在我们导入库文件，

然后下载这个Qwen2 Audio 7B Instruct模型。

模型已经快下载完了，现在正在加载到我们的GPU中。让我们等待它加载完成，模型和分词器都已经加载好了。

现在让我们指定我们的音频文件并处理它们。如果你看这里，我们正在使用类似ChatML的提示模板。这是一个对话，其中有一个音频文件的URL，然后我们设置了一个提示，表示这是用户、这是助手，然后这是用户的内容。

当然，你也可以使用你自己的音频文件，或者你可以围绕它构建一个应用程序，你可以流式传输音频文件，保存在本地系统中，加载它然后使用它。

在加载时你可以看到我们只是应用了这个聊天模板，然后创建了一个叫做audio的列表。

接着我们循环遍历它，使用我之前解释过的Librosa库，将其加载到我们的数组中，然后传递给模型处理器，最后将其加载到GPU中。

让我运行它，已经完成了。

接下来，我们将生成的tokens传递给模型，然后模型会生成输出，我们将对其进行解码并打印响应。

好了，模型已经给出了响应，是中文翻译的输出，这是我们在提示中要求的。

所以效果很好。当然你可以使用你自己的音频文件。

此外你还可以进行批量输入，你可以流式传输音频，但这取决于你的使用场景，然后你可能需要调整你的应用程序，这个模型支持所有这些功能。

而且你还可以使用任何形式的语音输入。这个模型的工作方式是语音被分成40毫秒的块，然后模型会预测下一个40毫秒的块对应的token，就像你在文本处理中预测下一个token一样。

因此，这个模型发布非常有意义，未来可能会有更多的应用场景。例如，有人可能会尝试使用这个模型来合成音频输出。因为音频编码器似乎与OpenAI的Whisper模型非常相似。

我认为这个Qwen2模型使用了Whisper Large V3，这可能需要重新训练Whisper的语音声学模型，但我可能错了，因为页面上没有太多的架构信息。

但好消息是，他们分享了一些代码块，你可以直接使用这些代码块进行批量输入处理。所以在音频大型语言模型方面，这是一个不错的补充。

我可以预见到这个多媒体模型在各种AI应用中的潜力。