Posts on 我的绕地飞行记录

PostgreSQL Quick Start I

Tue, 05 Nov 2024 10:25:22 +0800

CRUD Quick Start

use postgresql by super user prompt

connecting to database server by psql -U postgres
starting sql with commandline
creating a user ‘sunce’ by create user sunce with password 'sunce';
creating a database ‘people’ with owner ‘sunce’ by create database people with owner 'sunce';
quit a session by \q

now you got a database and a user.

connecting to database ‘people’ in user ‘sunce’ by psql people sunce
creating a table ‘users’ by sql

create table users ( 
	name varchar(128),
	email varchar(128) 
);

list all table by \dt
show the schema of the table ‘users’ by \d+ users
run sql from a file in the current directory by \i lession.sql
quit to back into terminal by \q

notie: connecting a database on remote server by psql -h host -p port -U user database

微信公众号开发指南 - 1

Mon, 15 Jul 2024 17:20:42 +0800

准备一个微信公众号订阅号, 没有的需要先申请一个或者选用测试号. 准备一个服务器, 一个域名.

参考接入指南,开发者需要按照如下步骤完成：

填写服务器配置
验证服务器地址的有效性
依据接口文档实现业务逻辑目前先完成前两步, 后续再进行接口业务开发.

准备工作:

如果使用自己的公众号: 首先登录微信公众号后台, 左栏依次打开 设置与开发-> 基本配置. 在右栏中生成 开发者密码(AppSecret), 并配置服务器IP或调试用机器的IP为 IP白名单. 记下此页面的 开发者ID(AppID), 开发者密码(AppSecret)
使用测试号, 登录测试公众号,记下此页面的 开发者ID(AppID), 开发者密码(AppSecret), 在接口配置信息处填入准备的域名和32位token(通过在线生成工具或其他方法生成)

1 搭建服务器配置消息验证服务

在前文准备工作中, 接口配置信息或基本配置中准备的参考域名为http://xiaoyangge.inith271.top/verify, token为2zeCr3Tco8J8q8s30GjfphpZwBHMFiGz. 现在编写一个web服务用于接收微信的URL验证请求, 请求方式为GET.

这里使用golang 编写一个用于验证服务器URL有效性的web服务, 参数验证逻辑来自微信消息推送-开发者服务器接收消息推送.

package main

import (
	"crypto/sha1"
	"encoding/hex"
	"log"
	"net/http"
	"sort"
	"strings"

	"github.com/gin-gonic/gin"
)

// token由其他工具生成
var token = "AAAAA"

func main() {
	router := gin.Default()

	router.GET("/verify", func(ctx *gin.Context) {
		signature := ctx.Query("signature")
		timestamp := ctx.Query("timestamp")
		nonce := ctx.Query("nonce")
		echostr := ctx.Query("echostr")
		// 验证签名
		tmpArr := []string{token, timestamp, nonce}
		sort.Strings(tmpArr)
		tmpStr := strings.Join(tmpArr, "")
		hasher := sha1.New()
		hasher.Write([]byte(tmpStr))
		hexStr := hex.EncodeToString(hasher.Sum(nil))
		
		if hexStr == signature {
			log.Println("[/]:  the signature is valid")
			// 验证成功返回传入的echoStr字符串
			ctx.String(http.StatusOK, echostr)
			return
		}
		ctx.String(http.StatusOK, "Bad signature")
		log.Println("[/]: Bad signature")
	})

	log.Fatal(router.Run(":8080"))
}

在服务上运行上述服务, 这里运行在8080端口.

构建自己的Kimi Ai终端助手

Fri, 05 Jul 2024 13:58:18 +0800

获取Moonshot API key并配置到环境变量

登录Moonshot AI开放平台, 在API管理 -> 新建 -> 输入key名, 确定-> 复制密钥sk-HL...Ehvcn.

将以下环境变量写入系统环境变量

1
2
3

GPT_BASE_URL=https://api.moonshot.cn/v1
GPT_API_KEY=sk-HLdyzmmUgXQnM5RbhyOBJs0Y5nvPlEdSBa8lWJGZ0GcEhvcn
GPT_MODEL=moonshot-v1-8k

或者写入项目下的.env文件并用github.com/joho/godotenv之类的库进行读取

读取环境变量代码:

// 如果有.env文件, 则导入库 go get -u github.com/joho/godotenv
godotenv.Load()

apiKey := os.Getenv("GPT_API_KEY")
baseUrl := os.Getenv("GPT_BASE_URL")
model := os.Getenv("GPT_MODEL")

使用go-gpt3构建Client

获取go-gpt3库 go get -u github.com/PullRequestInc/go-gpt3, go-gpt3是一个兼容OPEN-AI GPT3 API的开源库. 支持stream和non stream的completion请求.

单轮对话示例

构建gpt3.Client实例

`1`	`client := gpt3.NewClient(apiKey, gpt3.WithBaseURL(baseUrl))`

初始化一个对话, 这里使用moonshot文档提供的prompt

var history []gpt3.ChatCompletionRequestMessage = []gpt3.ChatCompletionRequestMessage{
	{
		Role:    "system",
		Content: "你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。",
	},
}

添加一个问题到对话中, moonshoot ai支持的对话Role为system, user, assistant, tool

使用Docker搭建MySQL集群实战

Wed, 03 Jul 2024 11:12:48 +0800

达到三高（高可用、高性能、高负载）需要至少12个节点。

高可用：冗余节点通过订阅的模式与主节点保持数据同步，依赖MySQL自带的master-slave（主从）数据同步模式，主节点开启binlog日志文件记录查询外的所有操作，从节点订阅binlog文件以保持数据一致。如果主节点再订阅从节点，就能双向同步数据，也叫设置双向主从同步，互为主从节点。

高性能：读写分离，根据Web系统读多写少的特点，使用1主2从的方案，主节点负责写入，从节点负责读取。再使用一组1主2从的节点，2组节点的主节点之间设置双向主从同步，这样又达到高可用。

数据切分（据说MySQL数据库单表数据达到2kw表的读写性能便会急剧下降），也称分库分表。假如将20kw条记录切分到20个节点中，可使用主键求余20得到的余数方法决定切分到的记录。数据切分后也要满足三高，即最少分片后为2个分片，每个分片都要满足三高则需要2组1主2从的节点并设置双向同步，因此至少要12个节点。

版本选择：MySQL5主从同步优于MySQL8

使用MyCat中间件进行MySQL集群的管理，因为只需要主从同步和读写分离。

搭建双主四从的MySQL集群

第一组主从: 创建MySQL_1主节点

拉取MySQL5.7镜像docker pull mysql:5.7
创建网段mysql_netdocker network create --subnet=172.18.0.0/18 mysql_net
创建MySQL_1节点--privileged=true给容器读写Linux系统的权限，--lower_case_table_names=1不区分表名的大小写

docker run	-it -d --name mysql_1 -p 7001:3306 \
--net mysql_net --ip 172.18.0.2 \
-m 400m -v /root/mysql_1/data:/var/lib/mysql -v /root/mysql_1/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai \
--privileged=true \
mysql:5.7 --lower_case_table_names=1

为MySQL_1新建用户sync:123456，服务器权限选择reload/replication slave/super
修改MySQL_1配置文件~/mysql_1/config/my.cnf，先stop容器，修改后再start容器

[mysqld]
# 数据库字符集
character_set_server = utf8
#mysql编号
server_id = 1

#开启binlog日志
log_bin = mysql_bin
#开启relaylog日志
relay_log= relay_bin

#从库的写操作是否写入binlog
log-slave-updates = 1
#采用严格的SQL语句模式
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

创建MySQL_2从节点

拉取MySQL5.7镜像docker pull mysql:5.7
创建MySQL_2节点--privileged=true给容器读写Linux系统的权限，--lower_case_table_names=1不区分表名的大小写

docker run	-it -d --name mysql_2 -p 7002:3306 \
--net mysql_net --ip 172.18.0.3 \
-m 400m -v /root/mysql_2/data:/var/lib/mysql -v /root/mysql_2/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai \
--privileged=true \
mysql:5.7 --lower_case_table_names=1

修改MySQL_2配置文件~/mysql_2/config/my.cnf，先stop容器，修改后再start容器

[mysqld]
# 数据库字符集
character_set_server = utf8
#mysql编号
server_id = 2

#从节点开启binlog日志，为将来挂载更多读节点而准备
log_bin = mysql_bin
#开启relaylog日志
relay_log= relay_bin

# 限制普通用户只能查询
read-only = 1
#采用严格的SQL语句模式
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

执行SQL语句让MySQL_2订阅MySQL_1的日志文件

stop slave; #-- 停止数据同步服务

# 设置与mysql_1同步数据
change master to master_host='172.18.0.2',master_port=3306,master_user='sync',master_password='123456';

start slave; #-- 开启数据同步服务

# 查询数据同步服务状态, 显示Slave_IO_Running：Yes； Slave_SQL_Running：Yes表示成功
show slave status;

创建MySQL_3从节点

拉取MySQL5.7镜像docker pull mysql:5.7
创建MySQL_3节点--privileged=true给容器读写Linux系统的权限，--lower_case_table_names=1不区分表名的大小写

docker run	-it -d --name mysql_3 -p 7003:3306 \
--net mysql_net --ip 172.18.0.4 \
-m 400m -v /root/mysql_3/data:/var/lib/mysql -v /root/mysql_3/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai \
--privileged=true \
mysql:5.7 --lower_case_table_names=1

修改**MySQL_3配置文件~/mysql_3/config/my.cnf，先stop容器，修改后再start容器

[mysqld]
# 数据库字符集
character_set_server = utf8
#mysql编号
server_id = 3

#从节点开启binlog日志，为将来挂载更多读节点而准备
log_bin = mysql_bin
#开启relaylog日志
relay_log= relay_bin

# 限制普通用户只能查询
read-only = 1
#采用严格的SQL语句模式
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

执行SQL语句让MySQL_3订阅MySQL_1的日志文件

stop slave; #-- 停止数据同步服务

# 设置与mysql_1同步数据
change master to master_host='172.18.0.2',master_port=3306,master_user='sync',master_password='123456';

start slave; #-- 开启数据同步服务

# 查询数据同步服务状态, 显示Slave_IO_Running：Yes； Slave_SQL_Running：Yes表示成功
show slave status;

第二组主从: 创建MySQL_4主节点

拉取MySQL5.7镜像docker pull mysql:5.7
创建MySQL_4节点--privileged=true给容器读写Linux系统的权限，--lower_case_table_names=1不区分表名的大小写

docker run	-it -d --name mysql_4 -p 7004:3306 \
--net mysql_net --ip 172.18.0.5 \
-m 400m -v /root/mysql_4/data:/var/lib/mysql -v /root/mysql_4/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai \
--privileged=true \
mysql:5.7 --lower_case_table_names=1

为MySQL_4新建用户sync:123456，服务器权限选择reload/replication slave/super ![[Pasted image 20240304003039.png|300]]
修改MySQL_4配置文件~/mysql_4/config/my.cnf，先stop容器，修改后再start容器

[mysqld]
# 数据库字符集
character_set_server = utf8
#mysql编号
server_id = 4

#开启binlog日志
log_bin = mysql_bin
#开启relaylog日志
relay_log= relay_bin

#从库的写操作是否写入binlog
log-slave-updates = 1
#采用严格的SQL语句模式
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

创建MySQL_5从节点

拉取MySQL5.7镜像docker pull mysql:5.7
创建MySQL_5节点--privileged=true给容器读写Linux系统的权限，--lower_case_table_names=1不区分表名的大小写

docker run	-it -d --name mysql_5 -p 7005:3306 \
--net mysql_net --ip 172.18.0.6 \
-m 400m -v /root/mysql_5/data:/var/lib/mysql -v /root/mysql_5/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai \
--privileged=true \
mysql:5.7 --lower_case_table_names=1

修改MySQL_5配置文件~/mysql_5/config/my.cnf，先stop容器，修改后再start容器

[mysqld]
# 数据库字符集
character_set_server = utf8
#mysql编号
server_id = 5

#从节点开启binlog日志，为将来挂载更多读节点而准备
log_bin = mysql_bin
#开启relaylog日志
relay_log= relay_bin

# 限制普通用户只能查询
read-only = 1
#采用严格的SQL语句模式
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

执行SQL语句让MySQL_5订阅MySQL_4的日志文件

stop slave; #-- 停止数据同步服务

# 设置与mysql_4同步数据
change master to master_host='172.18.0.5',master_port=3306,master_user='sync',master_password='123456';

start slave; #-- 开启数据同步服务

# 查询数据同步服务状态, 显示Slave_IO_Running：Yes； Slave_SQL_Running：Yes表示成功
show slave status;

创建MySQL_6从节点

拉取MySQL5.7镜像docker pull mysql:5.7
创建MySQL_6节点--privileged=true给容器读写Linux系统的权限，--lower_case_table_names=1不区分表名的大小写

docker run	-it -d --name mysql_6 -p 7006:3306 \
--net mysql_net --ip 172.18.0.7 \
-m 400m -v /root/mysql_6/data:/var/lib/mysql -v /root/mysql_6/config:/etc/mysql/conf.d \
-e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai \
--privileged=true \
mysql:5.7 --lower_case_table_names=1

修改MySQL_6配置文件~/mysql_6/config/my.cnf，先stop容器，修改后再start容器

[mysqld]
# 数据库字符集
character_set_server = utf8
#mysql编号
server_id = 6

#从节点开启binlog日志，为将来挂载更多读节点而准备
log_bin = mysql_bin
#开启relaylog日志
relay_log= relay_bin

# 限制普通用户只能查询
read-only = 1
#采用严格的SQL语句模式
sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

执行SQL语句让MySQL_6订阅MySQL_4的日志文件

stop slave; #-- 停止数据同步服务

# 设置与mysql_4同步数据
change master to master_host='172.18.0.5',master_port=3306,master_user='sync',master_password='123456';

start slave; #-- 开启数据同步服务

# 查询数据同步服务状态, 显示Slave_IO_Running：Yes； Slave_SQL_Running：Yes表示成功
show slave status;

配置MySQL_1和MySQL_4双向主从同步

在MySQL_1中执行SQL

GRPC Gateway使用示例

Sat, 29 Jun 2024 10:54:55 +0800

gRPC-Gateway使用示例

grpc 相比REST HTTP服务没有默认的速度优势, 但是它提供了一些可选的能提高速度的方式:

选择性消息压缩
负载均衡
等 grpc并不是万能的工具. 比如因为兼容性易维护的等需求, 我想提供一个传统的HTTP/JSON式的API.但是另写一份HTTP/JSON的API服务又是非常耗时的一件事. 社区提出的gRPC-Gateway项目解决了这个问题.

gRPC-Gateway是protoc编译器的一个插件, 它读取protobuf的服务定义并生成一个反向代理服务器, 反向代理会将RESTful HTTP API翻译为gRPC. gRPC-Gateway帮助一次性同时开发HTTP/JSON和gRPC API. 所以gRPC-Gateway的介绍如下:

protobuf编译器的插件
从protobuf中生成代理代码
翻译HTTP/JSON 调用为gRPC

使用示例

创建项目安装工具

mkdir grpc_gateway && cd grpc_gateway 
go mod init grpcgateway

# 安装protoc的插件: go gRPC, gRPC Gateway
go install github.com/grpc-ecosystem/grpc-gateway/v2/protoc-gen-grpc-gateway@latest
go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest
go install github.com/bufbuild/buf/cmd/buf@v1.28.1

# 安装grpcurl工具
scoop install grpcurl

使用protocol buffers定义helloworld gRPC服务

编辑proto文件