Jianqing's Blog

如何本地运行LLaMA

昨天GPT-4发布，除了惊艳还是惊艳，OpenAI的进化速度超乎想象。

除此之外，最近我也在关注LLaMa((Large Language Model Meta AI)

Facebook的大型语言模型，现在已经有很多基于它进行优化的项目

比如Standford, 号称7B model已经达到 OpenAI text-davinci-003效果

https://github.com/tatsu-lab/stanford_alpaca

而我这里选择的是llama.cpp, 作者刚把whisper用cpp实现了一遍叫whisper.cpp, 还真是直接

https://github.com/ggerganov/llama.cpp

整个安装过程还参考了这篇文章

https://til.simonwillison.net/llms/llama-7b-m2

LLaMa的优势

可以单机运行
可以Android手机上运行
可以Raspberry Pi上运行
其它基于的Fine Tune正在进行中，开源社区不一定会折腾出什么样的效果出来
没有任何限制审查

先看看我本地用了30B model的效果

Setup Steps

git clone [email protected]:ggerganov/llama.cpp.git
cd llama.cpp
python3

…

世界变化太快，快要赶不上了

关注AI的都应该知道最近AI界，各种技术进化的速度，已经超过想象了。

比如说

Stable Diffusion + ControlNet
OpenAI GPT3.5 + Whisper API
Runway Gen1(AI Film)
Notion AI

各种模型迭代的速度，正在很疯狂的往前逛奔，每天早上都能看到一些意想不到的新奇的东西。

而今天看到的是有关大脑的

https://sites.google.com/view/stablediffusion-with-brain/

这篇文章讲什么呢？

这篇论文提出了一种基于渗透模型的图像重建方法，以重建人脑活动的视觉体验。研究者使用了一种名为Stable Diffusion的潜在渗透模型，该模型减少了渗透模型的计算成本，同时保留了其高生成性能。他们进一步研究了不同组件如何与不同的大脑功能相关联，并表明该方法可以直接重建高分辨率图像，不需要额外的复杂深度学习模型的训练和微调。研究为重建人脑活动图像提供了一种有前途的方法，并为理解渗透模型提供了一个新的框架。

简单的说就是可以通过仪器扫描大脑的活动，然后通过Stable Diffusion重现大脑的景象，相当于视觉你的大脑所想。

这个潘多拉魔盒一旦打开，以后人类是不是就没有秘密可言了

Update

小爱同学也已经用上了gpt-3.5

当然我的翻译软件也已经用上了gpt-3.5，之前一直想用的DeepL, 估计直接就要被干死了，gpt-3.5的翻译能力应该不比DeepL的差。

…

Stable Diffusion on Apple M1

Try the Stable Diffusion, and ChilloutMix, and LoRA to generate the images on Apple M1.

Guidelines

I follow this guideline to setup the Stable Diffusion running on my Apple M1.

https://medium.com/@croath/%E4%BD%8E%E6%88%90%E6%9C%AC%E4%BD%93%E9%AA%8C%E7%94%9F%E6%88%90-ai-%E5%B0%8F%E5%A7%90%E5%A7%90%E7%85%A7%E7%89%87-85ffa7c13cd7
https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/5461

Install stable-diffusion-webui

brew install cmake protobuf rust [email protected]

…

ChatGPT-AutoSummaryBot

Repo

https://github.com/pjq/ChatGPT-SummaryBot

Most of the code is generated by ChatGPT, all you need is to provide the appropriate prompt message, and debug, even this document is also generated by ChatGPT

This is a Python script for fetching documents from the …

ChatGPT-MiSpeaker

Repo

https://github.com/pjq/ChatGPT-MiSpeaker

This python script is used to interact with OpenAI’s ChatGPT model via the MiSpeaker. The script fetches questions from the MiSpeaker, passes the questions to the ChatGPT model, and returns the answers back to the MiSpeaker for …

ChatGPT-与小爱同学对话

小爱同学作为家里语音助手，掌管着家里的智能家居的控制，只是脑袋有点不灵光，进化多年，还是人工智障的样子

很早就想着实现小爱同学与ChatGPT的联动，今天搜了一下，确实看到了一些方案。晚上折腾了一下，成功打通小爱同学与ChatGPT连接，基于这个基础，后面可以实现更多功能，目前仅实现了，小爱同学可以从ChatGPT那里返回问题答案进行输出。

主要参考以下项目

https://github.com/yihong0618/xiaogpt

还有一个对米家进行逆向的repo, 可以用来命令行控制家里的智能设备，比如灯，空调，小爱音箱等，基本上我家里的都可以控制。

https://github.com/Yonsm/MiService
https://github.com/acheong08/ChatGPT

安装过程简单列一下

git clone [email protected]:acheong08/ChatGPT.git
pip3 install revChatGPT
cat ~/.config/revChatGPT/config.json;
{
	"paid":true,
"access_token":"eyJhbGciOiJSUzI1NiIsInR5cCI6IkpXVCIsImtpZCI6Ik1UaEVOVUpHTkVNMVFURTRNMEZCTWpkQ05UZzVNRFUxUlRVd1FVSkRNRU13UmtGRVFrRXpSZyJ9.eyJodHRwczovL2FwaS5vcGVuYWkuY29tL3Byb2ZpbGUiOnsiZW1haWwxxxx"
}
pip3 install miservice
export MI_USER=<Usernameexport MI_PASS=<Passwordexport MI_DID="891xxxxx"
export MI_HARDWARE="LX01"

sudo ln -s ~/workspace/Xiaoai-ChatGPT/MiService/micli.py /usr/local/bin/micli;
python3 micli.py list

…

开通ChatGPT Plus

免费版本的ChatGPT经常会遇到超时，系统超载的情况，之前OpenAI好像开通了排队系统，但貌似现在不用排队了。

如果你直接拿国内的信用卡去绑定付款是没办法成功的，搜了一下才知道国内的信用卡都是不支持的，需要国外的信用卡。

注册虚拟信用卡(VCC)

人在国内是没有国外信用卡的，后来又了解到可以用虚拟信用卡VCC(Virtual Credit Card)，通过一个中间商开通一个虚拟信用卡，进行国外各种虚拟消费，比如Google Play, Amazon, ChatGPT这种。

网上找了一家

https://nobepay.com/

也没有做多余的对比，直接就注册了，可以支持微信绑定，支付宝充值，当然也不知道什么时候会跑路。

最低充值¥500，充值好了就可以生成虚拟信用卡了，这里我看到网上说的选择了

556766
地址在线生成一个，我选的是 Oregon https://www.meiguodizhi.com/
Oregon（俄勒冈州），Alaska（阿拉斯加州），Delaware（特拉华州），Montana（蒙大拿州）和NewHampshire（新罕布什尔州）这几个地区的地址，不然存在税费

之前第一次地址用的系统自动生成的，无法绑定OpenAI付款信息，后来换了一个Oreon地址，成功能绑定OpenAI。

开通ChatGPT Plus

拿到这个虚拟信用卡，我也用它试了一下DeepL, 还是无法绑定，这方面信息接触少，也不知道这些系统是如何判定信用卡和地址的合法性。

OpenAI和ChatGPT的付款信息绑定是不一样的，我先是绑定了OpenAI的付款信息，然后才在ChatGPT左侧菜单中看到了”ChatGPT Plus Upgrade”，点击重新输入虚拟信用卡信息，然后成功绑定了，按月Subscribe

$20/month

开通之后，多了一个”My Account”, 可以显示ChatGPT Plus信息。

Reference

https://usvcc.medium.com/
https://1991421.cn/2023/02/11/479b095c/
https://www.meiguodizhi.com/
https://www.xiaoz.me/archives/18336

…

真人工智能家居管家-ChatGPT

现在的智能家居，大部分都是需要根据场景定制的，无法做到智能自主控制，用ChatGPT，是不是可以实现自主控制了?

输入提示

迭代了几个版本，下面这个基本满足我的需求

假设你是智能家居管家，你可以根据实际情况做下面的事情
1. closeDoor
2. openDoor
2. closeAllLights
3. openAllLights
4. feedingTheCat
5. alertBell
6. turnOnAirCondition
7. closeAirCondition
8. openWindows
9. openWindows

后面我会输入一些场景，你自己决定需要做什么，不用再询问我，输出只包含上面的命令，没有其它多余的文本

上面的每个命令实际上就可以对应到真实的物理操作，你后面只要输入实际的场景，ChatGPT就会根据真实场景自主选择命令，实现对物理设备的控制

实际效果

我们可以看到ChatGPT可以根据真实的场景选择合适的命令，不再需要手动一个一个去设置场景，这大概就是智能家居未来的样子。

如果把这个做成硬件，包装成产品，是不是就是一个创业项目？…

Bash Function for ChatGPT API Calls in Command Line

Write one bash function to call the ChatGPT API in the command line

function .gpt3 {
if [ "$#" = 2 ];then
        KEYWORD="$1"
        TEMPERATURE=$2
elif [ "$#" = 1 ];then
        KEYWORD="$1"
        TEMPERATURE=1.0
else
        .log "Usage $0 "Question" [Temperature] "
        return

…

如何拥有自己本地的ChatGPT

ChatGPT因为一直在调用远端API，经常会出现超时或者挂掉的情况，本地跑一个ChatGPT是一个不错的选择(这里有误解，其实还是调用远端的text-chat-davinci-002-20230126，只是不用付钱)。

在Twitter Timeline上看到这个repo, 据说是第一个发现官方模型泄露的

https://github.com/waylaidwanderer/node-chatgpt-api

This is an implementation of ChatGPT using the official ChatGPT raw model, text-chat-davinci-002. This model name text-chat-davinci-002-20230126 was briefly leaked while I was inspecting the network requests made by the official ChatGPT

…

« Previous