Whisper入门学习资料 - 强大的多语言语音识别模型

Whisper简介

Whisper是OpenAI开发的通用语音识别模型,具有以下特点:

支持多语言语音识别、语音翻译和语言识别在大规模、多样化的音频数据集上训练采用Transformer序列到序列模型架构开源代码和模型权重,使用MIT许可证发布

安装和使用

安装

可以通过pip安装Whisper:

pip install -U openai-whisper

或者从GitHub安装最新版本:

pip install git+https://github.com/openai/whisper.git

命令行使用

使用medium模型转录音频文件:

whisper audio.mp3 --model medium

指定语言和翻译任务:

whisper japanese.wav --language Japanese --task translate

Python API使用

import whispermodel = whisper.load_model("base")result = model.transcribe("audio.mp3")print(result["text"])

可用模型

Whisper提供了5种不同大小的模型,适用于不同的场景:

模型参数量内存需求相对速度tiny39M~1GB~32xbase74M~1GB~16xsmall244M~2GB~6xmedium769M~5GB~2xlarge1550M~10GB1x

其中tiny、base、small和medium模型还提供英语专用版本。

更多资源

GitHub仓库Whisper博客介绍论文Colab示例模型卡片

Whisper是一个功能强大、易于使用的语音识别工具,希望这些资源能帮助你快速上手并充分利用它的能力。如果你在使用过程中有任何问题,欢迎查阅官方文档或在GitHub上提问。