如何本地运行LLaMA

昨天GPT-4发布，除了惊艳还是惊艳，OpenAI的进化速度超乎想象。

除此之外，最近我也在关注LLaMa((Large Language Model Meta AI)

Facebook的大型语言模型，现在已经有很多基于它进行优化的项目

比如Standford, 号称7B model已经达到 OpenAI text-davinci-003效果

而我这里选择的是llama.cpp, 作者刚把whisper用cpp实现了一遍叫whisper.cpp, 还真是直接

整个安装过程还参考了这篇文章

LLaMa的优势

  1. 可以单机运行
  2. 可以Android手机上运行
  3. 可以Raspberry Pi上运行
  4. 其它基于的Fine Tune正在进行中，开源社区不一定会折腾出什么样的效果出来
  5. 没有任何限制审查

先看看我本地用了30B model的效果

Setup Steps

git clone [email protected]:ggerganov/llama.cpp.git
cd llama.cpp
python3
…

世界变化太快，快要赶不上了

关注AI的都应该知道最近AI界，各种技术进化的速度，已经超过想象了。

比如说

  • Stable Diffusion + ControlNet
  • OpenAI GPT3.5 + Whisper API
  • Runway Gen1(AI Film)
  • Notion AI

各种模型迭代的速度，正在很疯狂的往前逛奔，每天早上都能看到一些意想不到的新奇的东西。

而今天看到的是有关大脑的

  • https://sites.google.com/view/stablediffusion-with-brain/
这篇文章讲什么呢？

这篇论文提出了一种基于渗透模型的图像重建方法，以重建人脑活动的视觉体验。研究者使用了一种名为Stable Diffusion的潜在渗透模型，该模型减少了渗透模型的计算成本，同时保留了其高生成性能。他们进一步研究了不同组件如何与不同的大脑功能相关联，并表明该方法可以直接重建高分辨率图像，不需要额外的复杂深度学习模型的训练和微调。研究为重建人脑活动图像提供了一种有前途的方法，并为理解渗透模型提供了一个新的框架。

简单的说就是可以通过仪器扫描大脑的活动，然后通过Stable Diffusion重现大脑的景象，相当于视觉你的大脑所想。

这个潘多拉魔盒一旦打开，以后人类是不是就没有秘密可言了

Update

  • 小爱同学也已经用上了gpt-3.5
  • 当然我的翻译软件也已经用上了gpt-3.5，之前一直想用的DeepL, 估计直接就要被干死了，gpt-3.5的翻译能力应该不比DeepL的差。
…

Stable Diffusion on Apple M1

Try the Stable Diffusion, and ChilloutMix, and LoRA to generate the images on Apple M1.

Guidelines

I follow this guideline to setup the Stable Diffusion running on my Apple M1.

  • https://medium.com/@croath/%E4%BD%8E%E6%88%90%E6%9C%AC%E4%BD%93%E9%AA%8C%E7%94%9F%E6%88%90-ai-%E5%B0%8F%E5%A7%90%E5%A7%90%E7%85%A7%E7%89%87-85ffa7c13cd7
  • https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/5461

Install stable-diffusion-webui

brew install cmake protobuf rust [email protected]
…

开通ChatGPT Plus

免费版本的ChatGPT经常会遇到超时，系统超载的情况，之前OpenAI好像开通了排队系统，但貌似现在不用排队了。

如果你直接拿国内的信用卡去绑定付款是没办法成功的，搜了一下才知道国内的信用卡都是不支持的，需要国外的信用卡。

注册虚拟信用卡(VCC)

人在国内是没有国外信用卡的，后来又了解到可以用虚拟信用卡VCC(Virtual Credit Card)，通过一个中间商开通一个虚拟信用卡，进行国外各种虚拟消费，比如Google Play, Amazon, ChatGPT这种。

网上找了一家

  • https://nobepay.com/

也没有做多余的对比，直接就注册了，可以支持微信绑定，支付宝充值，当然也不知道什么时候会跑路。

最低充值¥500，充值好了就可以生成虚拟信用卡了，这里我看到网上说的选择了

  • 556766
  • 地址在线生成一个，我选的是 Oregon https://www.meiguodizhi.com/
  • Oregon（俄勒冈州），Alaska（阿拉斯加州），Delaware（特拉华州），Montana（蒙大拿州）和NewHampshire（新罕布什尔州）这几个地区的地址，不然存在税费

之前第一次地址用的系统自动生成的，无法绑定OpenAI付款信息，后来换了一个Oreon地址，成功能绑定OpenAI。

开通ChatGPT Plus

拿到这个虚拟信用卡，我也用它试了一下DeepL, 还是无法绑定，这方面信息接触少，也不知道这些系统是如何判定信用卡和地址的合法性。

OpenAI和ChatGPT的付款信息绑定是不一样的，我先是绑定了OpenAI的付款信息，然后才在ChatGPT左侧菜单中看到了”ChatGPT Plus Upgrade”，点击重新输入虚拟信用卡信息，然后成功绑定了，按月Subscribe

  • $20/month

开通之后，多了一个”My Account”, 可以显示ChatGPT Plus信息。

Reference

  • https://usvcc.medium.com/
  • https://1991421.cn/2023/02/11/479b095c/
  • https://www.meiguodizhi.com/
  • https://www.xiaoz.me/archives/18336
…

真人工智能家居管家-ChatGPT

Generated by OpenAI

现在的智能家居，大部分都是需要根据场景定制的，无法做到智能自主控制，用ChatGPT，是不是可以实现自主控制了?

输入提示

迭代了几个版本，下面这个基本满足我的需求

假设你是智能家居管家，你可以根据实际情况做下面的事情
1. closeDoor
2. openDoor
2. closeAllLights
3. openAllLights
4. feedingTheCat
5. alertBell
6. turnOnAirCondition
7. closeAirCondition
8. openWindows
9. openWindows

后面我会输入一些场景，你自己决定需要做什么，不用再询问我，输出只包含上面的命令，没有其它多余的文本

上面的每个命令实际上就可以对应到真实的物理操作，你后面只要输入实际的场景，ChatGPT就会根据真实场景自主选择命令，实现对物理设备的控制

实际效果

我们可以看到ChatGPT可以根据真实的场景选择合适的命令，不再需要手动一个一个去设置场景，这大概就是智能家居未来的样子。

如果把这个做成硬件，包装成产品，是不是就是一个创业项目？…

如何拥有自己本地的ChatGPT

ChatGPT因为一直在调用远端API，经常会出现超时或者挂掉的情况，本地跑一个ChatGPT是一个不错的选择(这里有误解，其实还是调用远端的text-chat-davinci-002-20230126，只是不用付钱)。

在Twitter Timeline上看到这个repo, 据说是第一个发现官方模型泄露的

This is an implementation of ChatGPT using the official ChatGPT raw model, text-chat-davinci-002. This model name text-chat-davinci-002-20230126 was briefly leaked while I was inspecting the network requests made by the official ChatGPT

…