Whisper.cpp Playground

Download and try the demo

Here is the github of whisper.cpp

make base.en
make medium
make large-v3
/main -m models/ggml-base.en.bin -f samples/jfk.wav

For Chinese Support

  • https://github.com/ggerganov/whisper.cpp/issues/1531
  • https://wulu.zone/posts/whisper-cn
./main -m ./models/ggml-medium.bin  -t 8 --step 500 --length 5000 --prompt "请用简体中文输出" -l 

conda

conda create --name myenv310 python=3.10
 environment location: /Users/xxxx/miniconda3/envs/myenv310

  added / updated specs:
    - python=3.10
conda activate myenv310
conda deactivate
conda env list
conda config --add channels conda-forge
conda config --set channel_priority strict
conda env create -f environment-no-nvidia.yml
conda activate stylegan3

如何本地运行LLaMA

昨天GPT-4发布,除了惊艳还是惊艳,OpenAI的进化速度超乎想象。

除此之外,最近我也在关注LLaMa((Large Language Model Meta AI)

Facebook的大型语言模型,现在已经有很多基于它进行优化的项目

比如Standford, 号称7B model已经达到 OpenAI text-davinci-003效果

而我这里选择的是llama.cpp, 作者刚把whisper用cpp实现了一遍叫whisper.cpp, 还真是直接

整个安装过程还参考了这篇文章

LLaMa的优势

  1. 可以单机运行
  2. 可以Android手机上运行
  3. 可以Raspberry Pi上运行
  4. 其它基于的Fine Tune正在进行中,开源社区不一定会折腾出什么样的效果出来
  5. 没有任何限制审查

先看看我本地用了30B model的效果

Setup Steps

git clone git@github.com:ggerganov/llama.cpp.git
cd llama.cpp
python3