数据库灾备【免费下载链接】databasusPostgreSQL backup tool with Point-In-Time-Recovery and restore verification项目地址https://gitcode.com/gh_mirrors/po/databasus点击查看免费下载本篇以 backend/README.md 为主线讲解 Databasus 后端Go Gin GORM PostgreSQL的完整本地开发闭环如何用仓库根目录的.env作为统一配置源、如何用make run/make test/make lint启动与验证代码、如何用 goose 管理数据库迁移、如何生成并访问 Swagger 接口文档。读完你可以独立完成一次从拉取代码到跑通全量测试、再手工创建并回滚一条迁移的完整流程并能对照 backend/Makefile 与 backend/cmd/main.go 理解每条命令背后的真实行为。一、前置步骤仓库根目录的 .env 是唯一配置源README 的第一步要求把仓库根目录的.env.example复制为根目录下的.env并注明这是后端、前端和 docker compose 共用的单一配置源single source for backend, frontend, and docker compose。这个根目录的位置不是约定俗成而是由后端代码强制的。backend/internal/config/config.go 的loadEnvVariables()会先定位backend/go.mod所在的目录再取其父目录作为.env的加载路径envPath : filepath.Join(filepath.Dir(backendRoot), .env) ... if err : godotenv.Load(envPath); err ! nil { log.Error(error loading .env file from repo root, path, envPath, error, err) logger.ExitAfterFlush(1) }也就是说即使你从backend/目录或任意子目录启动进程配置都统一从仓库根目录的.env读取读不到会直接退出ExitAfterFlush(1)。加载链是godotenv读文件 →cleanenv.ReadEnv绑定到EnvVariables结构体整个加载由sync.OnceFunc包裹进程内只执行一次。.env.example中的关键配置项可以分为几组配置项示例值作用ENV_MODEdevelopment运行模式代码校验只允许development/production为空直接报错退出DATABASE_DSNhostlocalhost userpostgres passwordQ1234567 dbnamedatabasus port5437 sslmodedisable开发库连接串Postgres 17docker compose 中映射到宿主机 5437 端口TEST_DATABASE_DSN... port5438 ...测试专用库make test用它避免污染开发库GOOSE_DBSTRING/GOOSE_TEST_DBSTRINGURL 形式的postgres://...make migration-up/make migration-down使用的连接串LOG_LEVEL/LOG_FILE_IS_ENABLED/OPEN_TELEMETRY_URLinfo/true/ 空日志级别、文件日志开关、OTLP 日志外发地址TEST_PARALLEL_WORKERS8测试并行度决定-p值与测试库分片数量TEST_LOGICAL_POSTGRES_16_PORT5004逻辑备份共享测试库端口TEST_PHYSICAL_POSTGRES_17_PORT/TEST_PHYSICAL_POSTGRES_18_PORT5007/5008物理备份测试库端口SMTP_HOST等test-mailpit/1025开发环境 SMTP.env.example默认指向本地 mailpitDATABASUS_URL空用于邮件中的外链域名从源码结构看还有几个派生路径不需要你配置config.go会把databasus-data/backups、databasus-data/temp、databasus-data/secret.key固定放在仓库根目录即backend的上一级备份文件、临时目录与密钥都落在这里。.env准备好后需要把开发依赖容器拉起来。仓库根的 docker-compose.yml 提供了全套开发服务backend-dbpostgres:17宿主机${BACKEND_DB_PORT:-5437}对应DATABASE_DSNbackend-db-testpostgres:17宿主机 5438专供make test使用test-logical-postgres-165004、test-physical-postgres-175007、test-physical-postgres-185008测试共享 fixture其中两个物理备份实例显式设置了wal_levellogical、summarize_walon、wal_keep_size512MB并追加了允许复制度量的pg_hba规则compose 中的注释解释了原因Docker 网桥下宿主机连接呈现为桥接子网 IP默认pg_hba只允许127.0.0.1/32的 replication 连接wal-backup-postgres-18wal-backup-loader持续产生 WAL 的手动远端 WAL 测试台loader 侧车每 10 秒插入随机行、每 3 轮执行CHECKPOINT; SELECT pg_switch_wal()。注意区分TEST_LOGICAL_POSTGRES_16_PORT等变量指向的是 compose 里常驻的 fixture 容器而按版本的 PG 14–18 逻辑测试、SSL/mTLS 场景则走 testcontainers 临时容器无需固定端口见config.go中TestLogicalPostgres16Port字段旁的注释。二、运行后端make run 与端口抢占清理README 给出启动命令make run对应 backend/Makefile 中的定义PORT ? 4005 run: kill-stale go run ./cmd值得细看的是前置目标kill-stale。它的注释解释了动机一个残留的make run会一直占用 4005 端口并用上一次构建的二进制应答第二次启动若绑定失败只会记一条错误日志、不提供服务于是请求会静默打到旧进程上。由于开发容器里没有lsof/fuser该目标通过/proc自己定位监听者用printf :%04X $(PORT)把端口转成十六进制在/proc/net/tcp与/proc/net/tcp6中查找状态为0ALISTEN且端口匹配的四元组拿到 socket 的 inode遍历/proc/pid/fd找到持有socket:[inode]的进程并kill -9杀监听进程也会连带结束它的父进程go run。go run ./cmd启动后backend/cmd/main.go 的main()按固定顺序完成启动装配值得按调用链理解一遍命令行选项解析parseCommandLineOptions支持--test-storage存取并删除一个本地存储探针由config.StorageProbeFlagName定义、--list-admins、--disable-2fa、--new-password--email重置密码等运维入口另有一个特殊子命令databasus healthcheckos.Args[1] healthcheck时走runHealthcheckCommand()后退出docker compose 里databasus-local服务就靠它做健康检查。自动迁移runMigrations()用子进程执行goose -dir ./migrations up并把GOOSE_DRIVERpostgres与.env中的DATABASE_DSN注入子进程环境失败则进程直接退出。这意味着make run每次启动都会先保证 schema 是最新的make migration-up只是它的手工等价物。目录准备files_utils.EnsureDirectories确保DataFolder与TempFolder即上文databasus-data下的两个目录存在。中间件链middleware.AssignRequestID()→middleware.LogAccess→ 带日志的 panic recovery →NoStoreCacheControl→ GZIP排除.png/.jpg/.svg等已压缩扩展名。CORS仅在ENV_MODEdevelopment时开启且AllowOrigins: *并ExposeHeaders回传X-Request-Id。路由注册setUpRoutes所有路由挂在/api/v1下先挂 Swagger UI 路由v1.GET(/docs/swagger/*any, ginSwagger.WrapHandler(swaggerFiles.Handler))随后注册公开路由用户认证、healthcheck、版本、agent、逻辑/物理备份的公共路由、验证 agent 路由等再用users_middleware.AuthMiddleware建立protected组把 workspaces、disk、notifiers、storages、databases、backups逻辑/物理、restores、healthcheck、backup config逻辑/物理、audit_logs、user management/settings、verification 等全部受保护路由挂进去。依赖装配setUpDependencies()依次调用各 feature 的SetupDependencies()databases、backups、restores、healthcheck、audit_logs、notifiers、storages、备份配置、physical backup、verification、任务取消、telemetry。后台任务runBackgroundTasks()在一个可取消的context下启动十余个后台协程——逻辑备份调度器、验证调度器、逻辑/物理备份清理器、restore 调度器、healthcheck 执行服务、审计日志清理、下载 token 清理、物理 WAL 流 supervisor、存储文件删除 worker、登录码清理、telemetry 服务每个都用runWithPanicLogging包一层 recover把 panic 连同堆栈写入日志而不是让进程崩溃。前端挂载mountFrontend把./ui/build作为静态目录未命中 API 路由的请求回退到index.htmlSPA 行为。backend/ui/readme.md 说明生产构建时前端产物会放进这个目录。优雅停机startServerWithGracefulShutdown监听SIGINT/SIGTERM给正在处理的请求 10 秒宽限期之后再FlushAndCloseSinks冲刷日志。服务地址是写死的serverAddr :4005main.go 第 70 行所以 Makefile 里的PORT ? 4005与 Swagger 文档里的http://localhost:4005是同一个来源。三、运行测试make test 的四阶段流水线README 给出make test作为测试入口。backend/Makefile 中的完整定义远比跑一遍 go test复杂可以拆成四个阶段TEST_PARALLEL_WORKERS ? 8 test: clean-testcontainers pull-testcontainers TEST_PARALLEL_WORKERS$(TEST_PARALLEL_WORKERS) go run ./cmd/cleanup_test_db for i in $$(seq 0 $$(( $(TEST_PARALLEL_WORKERS) - 1 ))); do \ dbstring$$(echo $(GOOSE_TEST_DBSTRING) | sed -E s#/([^/?])\?#/\1_w$$i?#); \ echo migrating slot $$i; \ goose -dir ./migrations postgres $$dbstring up || exit 1; \ done TESTCONTAINERS_RYUK_DISABLEDtrue TEST_PARALLEL_WORKERS$(TEST_PARALLEL_WORKERS) go test -p$(TEST_PARALLEL_WORKERS) -count1 -failfast -timeout 15m ./internal/...clean-testcontainers按labelorg.testcontainers过滤出遗留的 testcontainers 容器并docker rm -f没有则打印no leftover testcontainerspull-testcontainers用grep -rhoE扫描./internal中所有mysql|mysql|mariadb|mongo|postgres:版本号以及quay.io/minio/minio镜像引用sort -u后并发xargs -P 4拉取每个镜像最多重试 3 次失败则退出。注释还解释了为什么裸镜像名的正则要求 tag 以数字开头避免物理备份测试里形如postgres:postgres的chown参数被误识别成镜像 tagcleanup_test_db独立的小型 Go 程序backend/cmd/cleanup_test_db/main.go在迁移前先清理测试库残留分片迁移 并行测试对 0..7 每个 slot用sed把GOOSE_TEST_DBSTRING里的库名改写成库名_wi例如databasus→databasus_w0…databasus_w7逐个跑goose up然后以-p8 -count1 -failfast -timeout 15m运行./internal/...全量测试并禁用 testcontainers 的 Ryuk 清理容器。为什么是 8 个_wN分片答案在 backend/internal/config/config.godefaultTestParallelWorkers 8注释明确要求它必须与go test -p的值一致这样每个正在运行的包都能领取一个隔离的元数据库任何可执行文件名以.test结尾的测试进程会触发claimTestWorkerSlotAndSelectMetadataDatabase()它先连到postgres系统库从pg_try_advisory_lock(945_000_000 slot)起顺序尝试抢占会话级咨询锁抢到哪个 slot 就把自己的 DSN 改写为对应的dbname_wslot锁由一个全局持有的*sql.ConnslotLockConn锚定到进程退出注释里专门说明关闭它或被 GC就会释放锁让 slot 在半路被别的 worker 抢走抢占有 60 秒的testSlotClaimTimeout重试窗口用来吸收go test -p启动下一个包时上一个进程尚未退出的交接间隙抢不到空闲 slot 会打印提示TEST_PARALLEL_WORKERS must be the go test -p value并退出。这解释了 Makefile 中先给 8 个 slot 各自跑一遍 goose up与测试进程按咨询锁各自认领 slot的呼应关系Makefile 负责预建8 套带完整 schema 的分片库config 层负责在运行时原子地分配它们使并行包之间互不污染。测试模式下DATABASE_DSN会被TEST_DATABASE_DSN覆盖env.DatabaseDsn env.TestDatabaseDsn这是测试不污染开发库的最后一道保证。Fedora 环境的 libedit 兼容垫片Makefile 还针对 Fedora 提供了test-fedora与run-fedora两个目标。背景写在注释里assets/tools中自带的数据库客户端二进制是 Debian 构建的链接libedit.so.2——这是 Debian 在下游打补丁产生的 sonameFedora 发行的是上游的libedit.so.0。两者 ABI 相同所以libedit-shim目标直接软链改名LIBEDIT_SHIM_DIR ? $(HOME)/.local/lib/databasus-compat libedit-shim: libedit/usr/lib64/libedit.so.0; \ [ -e $$libedit ] || libedit$$(ldconfig -p | awk /libedit\.so\.0 / {print $$NF; exit}); \ ... ln -sf $$libedit $(LIBEDIT_SHIM_DIR)/libedit.so.2之后test-fedora/run-fedora就是带着LD_LIBRARY_PATH$(LIBEDIT_SHIM_DIR)再执行test/run。因为后端启动时会逐一启动所有捆绑客户端做健康检查tools.LogAndExitIfClientToolsBroken在 config 加载末尾调用所以跑测试和跑服务都需要这个垫片。四、提交前检查make lintREADME 提示提交前确保安装了golangci-lint然后执行make lint其实现一步到位地做格式化与静态检查lint: golangci-lint fmt ./cmd/... ./internal/... golangci-lint run ./cmd/... ./internal/...即先golangci-lint fmt统一格式再golangci-lint run跑全部 linter检查范围覆盖backend/cmd与backend/internal两个模块路径。后端的具体编码规范控制器组织、依赖注入的位置参数写法、后台服务必须用atomic.Bool防重入、slog 日志上下文规则等在 backend/AGENTS.md 中有系统说明lint 正是这些规范的机器化执行。五、数据库迁移make migration-create / migration-up / migration-downREADME 的 Migrations 一节给出三个命令全部基于 goose 目录从20250605090323_init.sql一路排到20260920215925_add_two_factor_auth.sql覆盖用户、workspace、存储、通知器、审计日志、两因素认证等全部 schema 演进# 创建一条迁移生成带时间戳前缀的 SQL 骨架之后手工填充内容 make migration-create nameMIGRATION_NAME # 应用迁移 make migration-up # 最近一次迁移失败时回滚 make migration-down对应 Makefile 定义migration-create: goose -dir ./migrations create $(name) sql migration-up: goose -dir ./migrations postgres $(GOOSE_DBSTRING) up migration-up-test: goose -dir ./migrations postgres $(GOOSE_TEST_DBSTRING) up migration-down: goose -dir ./migrations postgres $(GOOSE_DBSTRING) down几点实操要点name参数直接透传给goose create $(name) sql生成backend/migrations/时间戳_name.sql的 up/down 骨架README 与 AGENTS 都强调先让工具生成骨架、再手工填充 SQLmigration-up/migration-down走GOOSE_DBSTRING.env中 URL 形式的连接串而migration-up-test走GOOSE_TEST_DBSTRING——这条目标没写进 README但make test流水线里每轮都会对 8 个分片库自动执行等价的goose up手工migration-up其实只是开发便捷入口make run启动时runMigrations()main.go 中会以子进程方式执行goose -dir ./migrations up并注入GOOSE_DRIVERpostgres与DATABASE_DSN失败即退出。所以正常开发流里启动服务本身就会把迁移带到位README 只写了migration-down用于最近一次迁移失败时回滚这与 goose 的down语义一致回退一个已应用的版本。backend/AGENTS.md 对迁移 SQL 本身有强制风格约束写迁移时值得对照仅支持 PostgreSQL主键 UUID 用gen_random_uuid()时间列必须TIMESTAMPTZ表、约束、索引必须分开声明先建表每个约束/索引独立语句列类型对齐、约束子句各占一行。六、Swagger 文档make swagger 与启动期自动再生成README 的 Swagger 一节# 生成 swagger 文档 make swagger # 文档地址 http://localhost:4005/api/v1/docs/swagger/index.html#/Makefile 中该目标的实现swagger: swag init -g ./cmd/main.go -o swagger即以 backend/cmd/main.go 为入口文件扫描注解把生成物输出到backend/swagger目录。入口文件顶部有全局注解// title Databasus Backend API // version 1.0 // description API for Databasus // host localhost:4005 // BasePath /api/v1 // schemes http这就解释了为什么文档 URL 是/api/v1前缀且宿主写死localhost:4005——与serverAddr、setUpRoutes中的v1 : r.Group(/api/v1)完全对齐。main.go通过_ databasus-backend/swagger空导入把生成物编译进二进制运行时经ginSwagger.WrapHandler(swaggerFiles.Handler)挂在/api/v1/docs/swagger/*any。两个容易踩的坑在源码注释里都写了文档在第二次启动才可见。generateSwaggerDocs()非 production 模式下会以后台 goroutine 调swag init -d cwd -g cmd/main.go -o swagger重新生成但生成的是 Go 文件要重启服务才会编译进去。main.go 中generateSwaggerDocs上方的注释原话即docs appear after second launch, because Swagger is generated into Go filesproduction 模式不自动生成config.GetEnv().EnvMode EnvModeProduction时直接返回生产环境依赖构建期已生成的 swagger 包。七、速查backend 目录开发命令一览命令实际执行说明make runkill-stale→go run ./cmd清理 4005 端口残留监听者后启动后端make test清 testcontainers → 拉镜像 → 清测试库 → 8 分片 goose up →go test -p8 -count1 -failfast -timeout 15m ./internal/...全量测试库隔离靠_wN分片 咨询锁make test-fedora/run-fedoralibedit 垫片 上述流程Fedora 上绕过libedit.so.2差异make lintgolangci-lint fmt golangci-lint run./cmd/..../internal/...提交前检查make migration-create nameXgoose -dir ./migrations create X sql生成迁移骨架make migration-up/migration-downgoose ... $(GOOSE_DBSTRING) up/down手工迁移/回滚make migration-up-testgoose ... $(GOOSE_TEST_DBSTRING) up对测试库迁移make swaggerswag init -g ./cmd/main.go -o swagger重新生成接口文档关键文件索引命令定义见 backend/Makefile启动流程与路由见 backend/cmd/main.go环境加载与测试分片见 backend/internal/config/config.go配置模板见 .env.example开发容器拓扑见 docker-compose.yml编码规范见 backend/AGENTS.md。按照cp .env.example .env→ 起 compose 依赖 →make run→make test→make lint的顺序走完即构成一次标准开发迭代每次改动 schema 时再叠加make migration-create与make migration-up/down即可。赞分享数据库灾备【免费下载链接】databasusPostgreSQL backup tool with Point-In-Time-Recovery and restore verification项目地址https://gitcode.com/gh_mirrors/po/databasus点击查看免费下载相关推荐Gitea 源码开发工作流从 make build 到 Swagger 校验的完整构建与调试指南Gitea 源码开发工作流从 make build 到 Swagger 校验的完整构建与调试指南 Gitea 采用前后端分离的构建体系Go 编写后端、Typ后端代码托管研发协作CI/CD从 Stoplight 迁移到 ScalarOpenAPI 文档、Markdown 指南与工作流的一站式迁移指南从 Stoplight 迁移到 ScalarOpenAPI 文档、Markdown 指南与工作流的一站式迁移指南 本指南以 Scalar 开源 API 平台为开发工具API 工具前端Relay 开发工作流从配置 Relay Compiler 到生成运行时产物Relay 开发工作流从配置 Relay Compiler 到生成运行时产物 本篇技术指南以 Relay v14 文档中的 Workflow 章节为核心讲解前端开发工具上一篇国家中小学智慧教育平台电子课本终极下载指南一键批量获取PDF教程下一篇PostgreSQL高可用性与备份恢复工具全解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
