标签：ps -- gitlab 极狐 congregate user May

congregate迁移极狐gitlab数据测试

项目地址：https://gitlab.com/gitlab-org/professional-services-automation/tools/migration/congregate/

congregate 是一款 gitlab 官方推出的数据迁移工具，可以方便的把其他 SCM 系统的项目迁移到 gitlab 实例

本次测试主要是源极狐gitlab实例迁移到目标极狐gitlab实例，测试版本 gitlab-jh v14.10.0。

1. 迁移限制

1.1 源实例用户必选设置 public_email

设置方法：登陆后右上角 - edit profile - Public email

或者参考API：

• Users API | GitLab
• Users and current user - python-gitlab v3.4.0

1.2 源实例组不能包含组成员

由于目前 gitlab 工具限制无法导入组的组成员

2. 实例信息

2.1 源实例

版本：v14.10.0

访问地址：http://10.10.10.60
管理员 TOKEN：VqmocWWsZtqmKssub6Ha

2.2 目标实例

版本：v14.10.0

访问地址：http://10.10.10.61：
管理员 TOKEN：yz73YiP5xwLD4ku8x-1F

3. 准备数据

3.1 安装 congregate

docker 安装

# 拉取镜像
docker pull registry.gitlab.com/gitlab-org/professional-services-automation/tools/migration/congregate:rolling-debian

# 运行
docker run \
--name congregate \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /etc/hosts:/etc/hosts \
-p 8000:8000 \
-itd 4bd6a78c0a68 \
/bin/bash

• 其中 4bd6a78c0a68 为 registry.gitlab.com/gitlab-org/professional-services-automation/tools/migration/congregate:rolling-debian 镜像 id，使用命令 docker images 获得；也可直接使用镜像名

3.2 配置 congregate

# 首先进入容器
docker exec -it congregate /bin/bash

• 如无特殊说明，后面的所有命令操作均在此容器中进行

开始配置

./congregate.sh configure

• 根据提示填写目标实例与源实例地址以及TOKEN信息，然后其他设置无特殊情况按默认即可

• 配置完成后会生成配置文件 ./data/congregate.conf，可手动修改

ps-user@7f582c3cd44f:/opt/congregate$ cat ./data/congregate.conf 
[DESTINATION]
dstn_hostname = http://10.10.10.61
dstn_access_token = QnpyOVh6c3M3VVZCdlVBVHpkcWc=
import_user_id = 1
shared_runners_enabled = False
project_suffix = False
max_import_retries = 3
username_suffix = migrated
mirror_username = 
max_asset_expiration_time = 24

[SOURCE]
src_type = GitLab
src_hostname = http://10.10.10.60
src_access_token = amRTZnhEWHhDR3M2OGhRemY4NWs=
src_tier = ultimate
export_import_timeout = 3600

[EXPORT]
location = filesystem
filesystem_path = /opt/congregate

[USER]
keep_inactive_users = True
reset_pwd = False
force_rand_pwd = True

[APP]
export_import_status_check_time = 10
mongo_host = localhost
mongo_port = 27017
ui_port = 8000
processes = 4
ssl_verify = True

3.3 拉取源实例数据

./congregate.sh list

来去完成后会在 ./data/ 目录下生成数据

• groups.json：组数据
• projects.json：项目数据
• users.json：用户数据

ps-user@7f582c3cd44f:/opt/congregate$ ls -l ./data/
total 48
-rw-r--r-- 1 ps-user ps-user   705 May 10 01:48 congregate.conf
-rw-r--r-- 1 ps-user ps-user  6303 May 10 01:49 groups.json
drwxr-xr-x 1 ps-user ps-user   161 May 10 01:49 logs
-rw-r--r-- 1 ps-user ps-user 10525 May 10 01:49 projects.json
drwxr-xr-x 2 ps-user ps-user     6 May  2 19:45 reg_tuples
drwxr-xr-x 2 ps-user ps-user     6 May  2 19:45 results
-rw-r--r-- 1 ps-user ps-user     2 May 10 01:49 staged_groups.json
-rw-r--r-- 1 ps-user ps-user     2 May 10 01:49 staged_projects.json
-rw-r--r-- 1 ps-user ps-user     2 May 10 01:49 staged_users.json
-rw-r--r-- 1 ps-user ps-user  8518 May 10 01:49 users.json

3.4 启动图形界面，选择迁移数据

启动

./congregate.sh ui

访问地址：http://ip:8000

直接选择所有组，然后点击 stage，程序会自动管理相关账号：

可以看到这里把不需要的系统账号：Admin、alert、support 账号关联了，这里再单独去掉：

操作完成后，回到容器，使用 ctrl+z 停止 ui 界面，这时候可以看到已经把需要迁移的数据写入到 ./data/staged_ 开头的文件中了：

ps-user@7f582c3cd44f:/opt/congregate$ ls -l ./data/staged*
-rw-r--r-- 1 ps-user ps-user 6838 May 10 01:52 ./data/staged_groups.json
-rw-r--r-- 1 ps-user ps-user 2885 May 10 01:52 ./data/staged_projects.json
-rw-r--r-- 1 ps-user ps-user 6118 May 10 01:55 ./data/staged_users.json

4. 迁移数据

可以使用以下命令一次完成所有组、用户、项目迁移，

./congregate.sh migrate --commit

• 加 --commit 才真正迁移，未加此参数时只会 dry-run

注意：官方不建议这样做，因此这里我们选择以下分步方式完成迁移

4.1 迁移用户

./congregate.sh migrate --skip-group-export --skip-group-import --skip-project-export --skip-project-import --commit

4.2 迁移组

./congregate.sh migrate --skip-users --skip-project-export --skip-project-import --commit

• 如果加上 --stream-groups 使用新版 migrate_group 功能，迁移数据更全

4.3 迁移项目

./congregate.sh migrate --skip-users --skip-group-export --skip-group-import --commit

5. 验证目标实例

重点验证组、用户关系、项目 issue 的 assignees 关系等。

标签：ps,--,gitlab,极狐,congregate,user,May
来源： https://www.cnblogs.com/leffss/p/16492770.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。