群晖双网口OpenWRT软路由设置

家里的黑群之前用OpenWRT做软路由的时候买过一个网卡,最近把黑群升级到了最新版本,软路由虽然一直没用,但还是把它设置起来以备不时之需。

所以现在有两个网卡

  1. LAN 1(Default)
  2. LAN 2(新加的)

在Virtual Machine Manger里增加两个网卡

  1. eth0 -LAN 2(新加的)
  2. eth1 -LAN 1(Default)

在Virtual Machine-OpenWrt这个虚拟机上加入上面新增的两个网卡,这样就等于在 OpenWrt里插入了两个网卡eth0, eth1

接下来在OpenWRT里面分别设置eth0(LAN2,新加的)作为局域网, eth1(LAN1,Default)作为外网连接,设置网关为家里路由器的ip, 内部局域网段为192.168.2.xxx

  1. eth0-lan(内网)
  2. eth1-wan(外网)
cat /etc/config/network
/etc/init.d/network restart

Cloudflare转发公网IP非443端口

上海电信公网IP开通后,一些常用的端口如80和443不能使用。因此,必须使用其他端口,例如将443端口改为8443端口。访问时还需要在URL中加入特定的端口号:https://host:8443。

昨天搜了一下,原来Cloudflare支持转发非443端口,你需要做的就两步

  1. DNS enable proxy
  2. Rules-Origin Rules-Custom Filter Expression, 在这里添加一些转换规则-Then rewrite to “8443”

这样就设置好了,通过访问https://host, Cloudflare就会自动转到了源地址https://host:8443

如何本地运行LLaMA

昨天GPT-4发布,除了惊艳还是惊艳,OpenAI的进化速度超乎想象。

除此之外,最近我也在关注LLaMa((Large Language Model Meta AI)

Facebook的大型语言模型,现在已经有很多基于它进行优化的项目

比如Standford, 号称7B model已经达到 OpenAI text-davinci-003效果

而我这里选择的是llama.cpp, 作者刚把whisper用cpp实现了一遍叫whisper.cpp, 还真是直接

整个安装过程还参考了这篇文章

LLaMa的优势

  1. 可以单机运行
  2. 可以Android手机上运行
  3. 可以Raspberry Pi上运行
  4. 其它基于的Fine Tune正在进行中,开源社区不一定会折腾出什么样的效果出来
  5. 没有任何限制审查

先看看我本地用了30B model的效果

Setup Steps

git clone [email protected]:ggerganov/llama.cpp.git
cd llama.cpp
python3