用docker启动 postgres 数据库

1 项目地址

https://github.com/golang-migrate/migrate

2 使用情景

一些项目功能会涉及到数据库和代码逻辑的修改，对于数据库的修改，虽然 gorm 之类的工具能够在代码里面适配大部分情况，但是不能覆盖所有数据库变更情况，而且也不够清晰。为清楚表示某次代码提交设计的数据库的修改并且方便 devops 部署服务，可以使用 golang-migrate 这样的工具明确的标识对于数据的某次修改，可以对这些修改做部署和回滚。

使用 golang-migrate 有两种方式，一种是使用 migrate 提供的 CLI，一种是使用 golang library。本次测试使用 migrate CLI。

2.1 支持数据库类型

Source drivers: github-ee, godoc-vfs, s3, bitbucket, go-bindata, gcs, file, github, gitlab

Database drivers: cockroachdb, firebird, postgresql, redshift, clickhouse, postgres, cockroach, firebirdsql, mysql, crdb-postgres, mongodb, mongodb+srv, neo4j, pgx, spanner, sqlserver, stub, cassandra

3 使用方法

一开始使用 mysql 做测试，结果一直提示错误，就先用 github 上的教程用 postgres 测试了一遍。之后再解决 mysql 测试的问题。

3.1 安装 migrate CLI

3.1.1 参考

https://github.com/golang-migrate/migrate/tree/master/cmd/migrate

3.1.2 安装

直接 Release Downloads 下载对应版本即可。官网上的说明会让人误以为用 migrate CLI 的版本只支持某种数据库，但是实际测试发现下载的 migrate CLI 可以支持各种 Database drivers。

3.2 postgres 测试

3.2.1 参考

https://github.com/golang-migrate/migrate/blob/master/database/postgres/TUTORIAL.md

3.2.2 启动 postgres 数据库

在 192.168.10.212 这台测试服务器上用 docker 启动 postgres 数据库

dockerrun--namepostgres-ePOSTGRES_PASSWORD=mysecretpassword-dpostgres:14.0

进入 postgres 容器运行 psql -h localhost -U postgres -w -c "create database example;"来创建 example 数据库。

3.2.3 创建某次数据库变更的 sql 文件

mkdir migrations #首次执行，用于存放变更的 sql 文件

比如说这次修改我们需要新增一个 users 的表，

migrate create -ext sql -dir ./migrations -seq create_users_table

这个命令会在 migrations 目录下生成两个文件000001_create_users_table.up.sql 和000001_create_users_table.down.sql , 000001 是某次修改的版本号，000001_create_users_table.up.sql 用来存放创建 users 表的 sql 脚本，000001_create_users_table.down.sql 用来存放回滚这次操作的 sql 脚本。migrate create 命令只负责创建文件，sql 文件的内容需要我们手动编辑。

migrations├── 000001_create_users_table.down.sql├── 000001_create_users_table.up.sql

编辑000001_create_users_table.up.sql

CREATE TABLE IF NOT EXISTS users(   user_id serial PRIMARY KEY,   username VARCHAR (50) UNIQUE NOT NULL,   password VARCHAR (50) NOT NULL,   email VARCHAR (300) UNIQUE NOT NULL);

编辑000001_create_users_table.down.sql

DROP TABLE IF EXISTS users;

3.2.4 应用某次数据库修改

migrate 的 up 子命令用来应用某一次数据库变更， down 子命令用来回滚数据库变更操作。

比如 up [N]， N 表示执行多少个数据库变更任务，那具体是执行 ./migrations 下面的哪些 sql 脚本呢？

  up [N]       Apply all or N up migrations  down [N] [-all]    Apply all or N down migrations Use -all to apply all down migrations

首次执行 migrate up 命令后，会在数据库中添加 schema_migrations 表，这个表有两个字段：version 和 dirty，version 用来表示当前数据库对应 ./migrations 下面的那个版本，比如第一次执行 migrate up 1 后，如果执行成功了， schema_migrations 表中的 version=1，说明当前数据库对应的是000001_create_users_table.up.sql 这个版本 dirty=f(false)，执行到 version=1 这次的变更没有出错。如果 dirty=t(true) 会涉及要怎么修复这个错误的问题。

3.2.4.1 首次执行 migrate up

migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations up 11/u create_users_table (47.755135ms)

执行 migrate up 后，数据库中增加了 users 表和 schema_migrations 表

example=# d                List of relations Schema |       Name        |   Type   |  Owner--------+-------------------+----------+---------- public | schema_migrations | table    | postgres public | users             | table    | postgres public | users_user_id_seq | sequence | postgres(3 rows)
example=# d users;                                       Table "public.users"  Column  |          Type          | Collation | Nullable |                Default----------+------------------------+-----------+----------+---------------------------------------- user_id  | integer                |           | not null | nextval('users_user_id_seq'::regclass) username | character varying(50)  |           | not null | password | character varying(50)  |           | not null | email    | character varying(300) |           | not null |Indexes:    "users_pkey" PRIMARY KEY, btree (user_id)    "users_email_key" UNIQUE CONSTRAINT, btree (email)    "users_username_key" UNIQUE CONSTRAINT, btree (username)

example=# select * from schema_migrations; version | dirty---------+-------       1 | f(1 row)

3.2.4.2 回滚操作

migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations downAre you sure you want to apply all down migrations? [y/N]yApplying all down migrations1/d create_users_table (31.550358ms)

migrations down 后，数据库恢复到应用 create_users 之前的状态，users 表被删除，schema_migrations 表记录被删除

example=# select * from schema_migrations ; version | dirty---------+-------(0 rows)

3.2.5 应用多次修改

为了测试 migrations up [N] 执行多次修改的情形，第二次修改我们使用事务为 users 表增加 COLUMN，

migrate create -ext sql -dir ./migrations -seq add_mood_to_users , migrations 目录下会增加000002_add_mood_to_users.up.sql 和000002_add_mood_to_users.down.sql 两个文件。

000002_add_mood_to_users.up.sql ：

BEGIN;CREATE TYPE enum_mood AS ENUM ( 'happy', 'sad', 'neutral');ALTER TABLE users ADD COLUMN IF NOT EXISTS mood enum_mood;COMMIT;

000002_add_mood_to_users.down.sql ：

BEGIN;
ALTER TABLE users DROP COLUMN IF EXISTS mood;DROP TYPE enum_mood;
COMMIT;

第三次修改为 users 表增加 role_id 这个 COLUMN

migrate create -ext sql -dir ./migrations -seq add_roleid_to_users , migrations 目录下会增加000003_add_roleid_to_users.up.sql 和000003_add_roleid_to_users.down.sql 两个文件。

000003_add_roleid_to_users.up.sql

ALTER TABLE users ADD COLUMN IF NOT EXISTS role_id INTEGER;

000003_add_roleid_to_users.down.sql

ALTER TABLE users DROP COLUMN IF EXISTS role_id;

这样 migrations 目录下有如下6个 sql 文件：

.└── migrations    ├── 000001_create_users_table.down.sql    ├── 000001_create_users_table.up.sql    ├── 000002_add_mood_to_users.down.sql    ├── 000002_add_mood_to_users.up.sql    ├── 000003_add_roleid_to_users.down.sql    └── 000003_add_roleid_to_users.up.sql

3.2.5.1 应用多次修改

执行 migrate down 回滚 migrations 目录中所有修改。migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations down

migrate up 表示执行 migrations 目录中所有 up.sql 脚本。migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations up

migrate up [N], 表示从 schema_migrations 表的 version 的值后再执行 N 个部署。假设 schema_migration 中 version=1，migrate up [2] 就会执行 migrations 目录中 000001* 之后的000002_add_mood_to_users.up.sql 和000003_add_roleid_to_users.up.sql 两个操作。

3.2.6 测试执行失败的情况

首先执行 migrate down 回滚所有操作，然后执行 migrate up 2 应用000001_create_users_table.up.sql 和000002_add_mood_to_users.up.sql 。接下来我们修改000003_add_roleid_to_users.up.sql ，使得000003_add_roleid_to_users.up.sql 语法错误

➜  postgres migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations down  # 回滚所有操作Are you sure you want to apply all down migrations? [y/N]yApplying all down migrationsno change➜  postgres➜  postgres➜  postgres migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations up 2       # 应用 `000001_create_users_table.up.sql` 和 `000002_add_mood_to_users.up.sql`1/u create_users_table (47.883494ms)2/u add_mood_to_users (82.025579ms)➜  postgres➜  postgres cat migrations/000003_add_roleid_to_users.up.sqlALTER TABLE users ADD COLUMN role_id INTEGER errtest;%# 修改 000003_add_roleid_to_users.up.sql 增加 errtest 到语句末尾，使得 sql 语法错误
➜  postgres migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations up 1  # 执行错误error:migrationfailed:syntaxerroratornear"errtest"(column46)inline1:ALTERTABLEusersADDCOLUMNrole_idINTEGERerrtest;(details:pq:syntaxerroratornear"errtest")

这个时候查询 postgres 数据库的 schema_migrations 表，version=3，说明当前执行到 000003， 但是 dirty=t 说明执行有错误。

example=# select * from schema_migrations ; version | dirty---------+-------       3 | t(1 row)

然后修正000003_add_roleid_to_users.up.sql 的语法错误（去掉多余的 “errtest”），再次执行 migrate up 1，这个时候还是提示错误，因为 version=3 的 dirty=t，这个时候需要使用 migrate force 3 来确认说 version=3 的错误问题已修复，而且需要执行 migrate down 1 将 version 回退到 version=2 ，才能继续执行。

postgres migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations up 1error: migration failed: syntax error at or near "errtest" (column 60) in line 1: ALTER TABLE users ADD COLUMN IF NOT EXISTS role_id INTEGER errtest; (details: pq: syntax error at or near "errtest")➜  postgres migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations force 3➜  postgres migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations down 13/d add_roleid_to_users (34.332954ms)➜  postgres migrate -database 'postgres://postgres:mysecretpassword@192.168.10.212:5432/example?sslmode=disable' -path ./migrations up 13/u add_roleid_to_users (36.832839ms)

3.3 mysql 测试

说回前面说的测试 mysql 出现错误的问题，错误提示如下：

migrate -database mysql://root:x*xxx@192.168.10.212:3306/temp -path ./migrations upzsh: no matches found: mysql://root:x*xxx@192.168.10.212:3306/temp

查了一下这个错误是因为我使用的 shell 是 zsh， zsh 会自动解释 * ？等字符，而不是把 * ？留给命令 migrate 来解析，导致了错误，解决方案是在 ~/.zshrc 中加入：setopt no_nomatch 。另外一个解决方法是把 -database 参数的值加上引号 migrate -database 'mysql://root:x*xxx@192.168.10.212:3306/temp' -path ./migrations up

修正了 zsh 的问题后，再次执行 migrate up，还是提示错误：

migrate -database mysql://root:x*xxx@192.168.10.212:3306/temp -path ./migrations uperror: default addr for network '192.168.10.212:3306' unknown

这次的错误是因为 mysql 的 url 书写格式问题，mysql 的 url 需要写成 mysql://root:passwd@tcp(192.168.10.212:3306)/database 这样的格式。

审核编辑：彭静