如何本地运行LLaMA

昨天GPT-4发布，除了惊艳还是惊艳，OpenAI的进化速度超乎想象。

除此之外，最近我也在关注LLaMa((Large Language Model Meta AI)

Facebook的大型语言模型，现在已经有很多基于它进行优化的项目

比如Standford, 号称7B model已经达到 OpenAI text-davinci-003效果

而我这里选择的是llama.cpp, 作者刚把whisper用cpp实现了一遍叫whisper.cpp, 还真是直接

整个安装过程还参考了这篇文章

LLaMa的优势

  1. 可以单机运行
  2. 可以Android手机上运行
  3. 可以Raspberry Pi上运行
  4. 其它基于的Fine Tune正在进行中，开源社区不一定会折腾出什么样的效果出来
  5. 没有任何限制审查

先看看我本地用了30B model的效果

Setup Steps

git clone git@github.com:ggerganov/llama.cpp.git
cd llama.cpp
python3
…

世界变化太快，快要赶不上了

关注AI的都应该知道最近AI界，各种技术进化的速度，已经超过想象了。

比如说

  • Stable Diffusion + ControlNet
  • OpenAI GPT3.5 + Whisper API
  • Runway Gen1(AI Film)
  • Notion AI

各种模型迭代的速度，正在很疯狂的往前逛奔，每天早上都能看到一些意想不到的新奇的东西。

而今天看到的是有关大脑的

  • https://sites.google.com/view/stablediffusion-with-brain/
这篇文章讲什么呢？

这篇论文提出了一种基于渗透模型的图像重建方法，以重建人脑活动的视觉体验。研究者使用了一种名为Stable Diffusion的潜在渗透模型，该模型减少了渗透模型的计算成本，同时保留了其高生成性能。他们进一步研究了不同组件如何与不同的大脑功能相关联，并表明该方法可以直接重建高分辨率图像，不需要额外的复杂深度学习模型的训练和微调。研究为重建人脑活动图像提供了一种有前途的方法，并为理解渗透模型提供了一个新的框架。

简单的说就是可以通过仪器扫描大脑的活动，然后通过Stable Diffusion重现大脑的景象，相当于视觉你的大脑所想。

这个潘多拉魔盒一旦打开，以后人类是不是就没有秘密可言了

Update

  • 小爱同学也已经用上了gpt-3.5
  • 当然我的翻译软件也已经用上了gpt-3.5，之前一直想用的DeepL, 估计直接就要被干死了，gpt-3.5的翻译能力应该不比DeepL的差。
…

Stable Diffusion on Apple M1

Try the Stable Diffusion, and ChilloutMix, and LoRA to generate the images on Apple M1.

Guidelines

I follow this guideline to setup the Stable Diffusion running on my Apple M1.

  • https://medium.com/@croath/%E4%BD%8E%E6%88%90%E6%9C%AC%E4%BD%93%E9%AA%8C%E7%94%9F%E6%88%90-ai-%E5%B0%8F%E5%A7%90%E5%A7%90%E7%85%A7%E7%89%87-85ffa7c13cd7
  • https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/5461

Install stable-diffusion-webui

brew install cmake protobuf rust python@3.10
…

ChatGPT-与小爱同学对话


小爱同学作为家里语音助手，掌管着家里的智能家居的控制，只是脑袋有点不灵光，进化多年，还是人工智障的样子

很早就想着实现小爱同学与ChatGPT的联动，今天搜了一下，确实看到了一些方案。晚上折腾了一下，成功打通小爱同学与ChatGPT连接，基于这个基础，后面可以实现更多功能，目前仅实现了，小爱同学可以从ChatGPT那里返回问题答案进行输出。

主要参考以下项目

还有一个对米家进行逆向的repo, 可以用来命令行控制家里的智能设备，比如灯，空调，小爱音箱等，基本上我家里的都可以控制。

安装过程简单列一下

git clone git@github.com:acheong08/ChatGPT.git
pip3 install revChatGPT
cat ~/.config/revChatGPT/config.json;
{
	"paid":true,
"access_token":"eyJhbGciOiJSUzI1NiIsInR5cCI6IkpXVCIsImtpZCI6Ik1UaEVOVUpHTkVNMVFURTRNMEZCTWpkQ05UZzVNRFUxUlRVd1FVSkRNRU13UmtGRVFrRXpSZyJ9.eyJodHRwczovL2FwaS5vcGVuYWkuY29tL3Byb2ZpbGUiOnsiZW1haWwxxxx"
}
pip3 install miservice
export MI_USER=<Usernameexport MI_PASS=<Passwordexport MI_DID="891xxxxx"
export MI_HARDWARE="LX01"

sudo ln -s ~/workspace/Xiaoai-ChatGPT/MiService/micli.py /usr/local/bin/micli;
python3 micli.py list
…