在本文中，我们将本地安装这个由阿里推出的全新Qwen模型，它是一个名为Qwen2 Audio 7B Instruct的音频处理模型。
这个模型非常适用于音频分析和处理，此外你还可以将它集成到NLP管道中。
它能够接受各种音频信号输入，并执行音频分析或针对语音指令给出直接的文本响应。这个模型提供了两种不同的音频交互模式。
第一种模式是语音聊天模式，你可以自由地进行语音交互，即使不输入任何文本也可以。你可以流式传输你的语音，它会将其转换为音频。
第二种音频分析模式，你可以直接提供音频和文本指令，例如一个wav文件，它会进行音频分析并根据分析结果给出输出。
阿里同时也推出了一个微调版的Instruct模型，我们将安装这个Instruct模型。
创建一个conda环境并激活它。
让我们等待环境安装完成，然后我们将开始安装所需的前置软件。
首先，我安装了PyTorch，
然后我还将从源代码安装Transformers库，因为这个模型非常新，PyPI上还没有提供这个版本。
让我们等待这个安装完成，PyTorch已经安装完成，它是一个基础的深度学习库。
接着，我们安装Transformers库，
我是从GitHub安装的，即从源代码安装。这是一个用于自然语言处理任务的基础库，主要用于文本生成和分类。
让我们等待它安装完成，这个库不大，只需要几秒钟。现在安装完成了。
接下来，我们安装Hugging Face Hub和Accelerate库。
Hugging Face Hub用于访问Hugging Face平台，Accelerate用于优化模型。两个库都已安装完成。
现在让我们安装一些辅助库，我将一次性粘贴所有命令来加快速度。你看到我们正在安装很多库，包括Librosa、Numpy、Scipy等，这些库用于音频信号处理、分析和操作。
我们还安装了Pydub，它用于操作音频文件，提供了一个易于使用的界面，可以进行剪切、复制和粘贴音频片段等任务。你可能不需要用到所有功能，但安装完整的库套件总是好的。安装已经完成了。
最后，我们还安装FFmpeg，
因为我使用的是conda环境，所以我会通过命令将它链接到conda。FFmpeg是一个强大的开源多媒体框架，用于处理、转换和流式传输音频和视频文件。
再安装一下jupyter开发环境
ok，现在，所有前置条件都已经安装完成了。
现在我们导入库文件，
然后下载这个Qwen2 Audio 7B Instruct模型。
模型已经快下载完了，现在正在加载到我们的GPU中。让我们等待它加载完成，模型和分词器都已经加载好了。
现在让我们指定我们的音频文件并处理它们。如果你看这里，我们正在使用类似ChatML的提示模板。这是一个对话，其中有一个音频文件的URL，然后我们设置了一个提示，表示这是用户、这是助手，然后这是用户的内容。
当然，你也可以使用你自己的音频文件，或者你可以围绕它构建一个应用程序，你可以流式传输音频文件，保存在本地系统中，加载它然后使用它。
在加载时你可以看到我们只是应用了这个聊天模板，然后创建了一个叫做audio的列表。
接着我们循环遍历它，使用我之前解释过的Librosa库，将其加载到我们的数组中，然后传递给模型处理器，最后将其加载到GPU中。
让我运行它，已经完成了。
接下来，我们将生成的tokens传递给模型，然后模型会生成输出，我们将对其进行解码并打印响应。
好了，模型已经给出了响应，是中文翻译的输出，这是我们在提示中要求的。
所以效果很好。当然你可以使用你自己的音频文件。
此外你还可以进行批量输入，你可以流式传输音频，但这取决于你的使用场景，然后你可能需要调整你的应用程序，这个模型支持所有这些功能。
而且你还可以使用任何形式的语音输入。这个模型的工作方式是语音被分成40毫秒的块，然后模型会预测下一个40毫秒的块对应的token，就像你在文本处理中预测下一个token一样。
因此，这个模型发布非常有意义，未来可能会有更多的应用场景。例如，有人可能会尝试使用这个模型来合成音频输出。因为音频编码器似乎与OpenAI的Whisper模型非常相似。
我认为这个Qwen2模型使用了Whisper Large V3，这可能需要重新训练Whisper的语音声学模型，但我可能错了，因为页面上没有太多的架构信息。
但好消息是，他们分享了一些代码块，你可以直接使用这些代码块进行批量输入处理。所以在音频大型语言模型方面，这是一个不错的补充。
我可以预见到这个多媒体模型在各种AI应用中的潜力。
粤ICP备14082021号
免费POC，
零成本试错
