Flyway - 多个git分支上的SQL migration-scripts版本

问题描述 投票:1回答:2

在该项目中,我们使用Flyway迁移工具开发db模式以及这些脚本的git历史。

这个想法是每个脚本编号都以数字为前缀,增加值10,然后是名称,例如:

  • 0000_name_one.sql
  • 0010_name_two.sql
  • 0020_name_three.sql

等等

但是,由于我们必须开始处理多个分支(例如两个主分支:master + master_ext)以及我们有一些dev-branches用于耗时的功能 - 选择正确的脚本数字存在问题。

当长期dev-branch引入一些改变脚本时,将它合并到master或master_ext时,有人也引入了相同数量的不同脚本,我们就会发生冲突。 (由于名称不同,合并可能会成功,但导航迁移将失败)

在处理多个分支时,是否有任何模式或良好实践来维护SQL脚本版本?

提前致谢

flyway
2个回答
2
投票

Flyway不提供任何构建功能来执行相同的操作。

不过我已经为我的项目做了这个,我认为到目前为止这是我们能做的最好的。

  1. 将Flyway版本设为实际时间戳,因此无论您创建哪个git分支都将始终是唯一且有序的。
  2. 编写一个程序来生成这个版本,并要求所有开发人员使用这个文件,以便获得需要使用的下一个版本。

以下是我目前使用的示例

package com.demo;


import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.TimeZone;

public class GenerateFileVersion {

    public static void main (String... args){
        GenerateFileVersion f=new GenerateFileVersion();
        f.fileVersion();
    }

    private String trimOrPad(String str, int length, char padChar) {
        String result;
        if (str == null) {
            result = "";
        } else {
            result = str;
        }

        if (result.length() > length) {
            return result.substring(0, length);
        } else {
            while (result.length() < length) {
                result = padChar+result;
            }

            return result;
        }
    }

    private String fileVersion(){
        Date date = new Date();
        Calendar calendar = Calendar.getInstance(TimeZone.getTimeZone("CST6CDT"));
        calendar.setTime(date);
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat(
                "yyyy-MM-dd HH:mm:ss");

        StringBuffer sb=new StringBuffer();
        sb.append(calendar.get(Calendar.YEAR)%100);
        sb.append(".");
        sb.append(this.trimOrPad(String.valueOf(calendar.get(Calendar.MONTH)+1),2,'0'));
        sb.append(".");
        sb.append(this.trimOrPad(String.valueOf(calendar.get(Calendar.DATE)),2,'0'));
        sb.append(".");
        sb.append(this.trimOrPad(String.valueOf(calendar.get(Calendar.HOUR_OF_DAY)),2,'0'));
        sb.append(this.trimOrPad(String.valueOf(calendar.get(Calendar.MINUTE)),2,'0'));
        sb.append(this.trimOrPad(String.valueOf(calendar.get(Calendar.SECOND)),2,'0'));

        System.out.println("Choose Your Next File Name From below list...");

        int i=0;

        for(ENVIRONMENT env: ENVIRONMENT.values()){
            System.out.println("Next File Name for Making DDL Change : "+"V"+sb.toString()+this.trimOrPad(String.valueOf(i++),2,'0')+"__"+env.toString()+"_DDL.sql");
            System.out.println("Next File Name for Making DML Change : "+"V"+sb.toString()+this.trimOrPad(String.valueOf(i++),2,'0')+"__"+env.toString()+"_DML.sql");
        }

        return sb.toString();
    }

    private enum ENVIRONMENT{COMMON(1),LOCAL(9),STAGE(4),MTF(5),PERF(7),PROD(2);
        private int value;
        private ENVIRONMENT(int value) { this.value = value; }
    }


}

您还可以为项目添加更多功能,以确保所有开发人员都不会犯任何错误,您可以在程序下面添加junit测试用例,以便在任何文件不遵循flyway版本标准的情况下构建失败。

样品如下

package com.demo;

import junit.framework.Assert;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.reflections.Reflections;
import org.reflections.scanners.ResourcesScanner;
import org.reflections.util.ClasspathHelper;
import org.reflections.util.ConfigurationBuilder;
import org.reflections.util.FilterBuilder;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import java.util.Collections;
import java.util.LinkedList;
import java.util.List;
import java.util.Set;
import java.util.stream.Collectors;
import java.util.stream.Stream;

@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringBootRestApplicationTests {

    @Test
    public void checkDuplicateVersion() {

        System.out.println("Starting checkDuplicateVersion");

        List<ClassLoader> classLoadersList = new LinkedList<>();
        classLoadersList.add(ClasspathHelper.contextClassLoader());
        classLoadersList.add(ClasspathHelper.staticClassLoader());

        Reflections reflections = new Reflections(new ConfigurationBuilder()
                .setScanners(new ResourcesScanner())
                .setUrls(ClasspathHelper.forManifest(ClasspathHelper.forClassLoader(classLoadersList.toArray(new ClassLoader[0]))))
                .filterInputsBy(new FilterBuilder().include(FilterBuilder.prefix("local"))));

        Reflections reflections1 = new Reflections(new ConfigurationBuilder()
                .setScanners(new ResourcesScanner())
                .setUrls(ClasspathHelper.forManifest(ClasspathHelper.forClassLoader(classLoadersList.toArray(new ClassLoader[0]))))
                .filterInputsBy(new FilterBuilder().include(FilterBuilder.prefix("common"))));

        Stream<String> stream1=  reflections.getStore().get("ResourcesScanner").keys().stream();
        Stream<String> stream2=  reflections1.getStore().get("ResourcesScanner").keys().stream();

        Stream<String> resultingStream=Stream.of(stream1,stream2).flatMap(i -> i);

        //resultingStream.forEach(System.out::println);

        List<String> existingFileVersions=
                resultingStream
                        .filter(f -> f.startsWith("V"))
                        .filter(f -> f.endsWith(".sql"))
                        //.forEach(System.out::println);
                        .map(n -> n.split("__")[0].substring(1))
                        //.forEach(System.out::println);
                        .collect(Collectors.toList());

        Set<String> duplicateVersion=existingFileVersions.stream().filter(i -> Collections.frequency(existingFileVersions, i) >1)
                .collect(Collectors.toSet());

        duplicateVersion.forEach( i -> System.out.println("Duplicate Version found "+i));

        Assert.assertEquals(0,duplicateVersion.size());
    }

    @Test
    public void checkFlywayFileNamingStandard(){

        System.out.println("Starting checkFlywayFileNamingStandard");

        List<ClassLoader> classLoadersList = new LinkedList<>();
        classLoadersList.add(ClasspathHelper.contextClassLoader());
        classLoadersList.add(ClasspathHelper.staticClassLoader());

        Reflections reflections = new Reflections(new ConfigurationBuilder()
                .setScanners(new ResourcesScanner())
                .setUrls(ClasspathHelper.forManifest(ClasspathHelper.forClassLoader(classLoadersList.toArray(new ClassLoader[0]))))
                .filterInputsBy(new FilterBuilder().include(FilterBuilder.prefix("local"))));

        Reflections reflections1 = new Reflections(new ConfigurationBuilder()
                .setScanners(new ResourcesScanner())
                .setUrls(ClasspathHelper.forManifest(ClasspathHelper.forClassLoader(classLoadersList.toArray(new ClassLoader[0]))))
                .filterInputsBy(new FilterBuilder().include(FilterBuilder.prefix("common"))));

        Stream<String> stream1=  reflections.getStore().get("ResourcesScanner").keys().stream();
        Stream<String> stream2=  reflections1.getStore().get("ResourcesScanner").keys().stream();

        Stream<String> resultingStream=Stream.of(stream1,stream2).flatMap(i -> i);
        //resultingStream.forEach(System.out::println);

        resultingStream
                .filter(f -> f.endsWith(".sql"))
                .forEach(n -> {

                    if(!n.split("__")[0].toUpperCase().startsWith("V")){
                        System.out.println("File starts with " + n + " Does not start with Letter V or v. Please fix it.");
                        Assert.fail();
                    }

                    for(String s : n.split("__")[0].substring(1).split("\\.")){
                        try {
                            //System.out.println(n);
                            Integer.valueOf(s);
                        }catch(Exception e){
                            //e.printStackTrace();
                            System.out.println("File starting with "+ n + " does not match flyway standard");
                            System.out.println("Flyway standard is V{version}__{description}.sql");
                            Assert.fail();
                        }
                    }
                });
    }

}

有关更多详细信息,您可以看到我的项目here


0
投票

你不应该认为迁移的版本是描述部分开始的“qazxsw poi”(双下划线)的部分。

迁移的命名方案(根据__)是:

documentation on migrations

(实际上大部分都是可配置的,但只是假设它没有被更改)

  • flag char是V(用于版本化迁移)之一,R(用于可重复迁移,U(用于撤消迁移))
  • version是不使用分隔符字符串的任何东西。通常应用一些数字方案。
  • separator_是“<flag char><version><separator><description><suffix> ”(双下划线)
  • 后缀是您迁移的任何已定义后缀(例如__

由于版本可能是任何东西,您可以轻松地引入特定于开发人员或分支的组件,并通过这种方式将有助于确保唯一的名称。

(顺便说一句:根据文档,您在问题中显示的名称不是正确的飞路迁移名称!)

然而:

您仍然存在根据逻辑依赖性确保有效排序的问题。

幸运的是,在大多数情况下,排序约束只发生在开发单元内,通常在一个分支内。因此,确保按顺序执行所有相关迁移将产生适当的结果。要在不同的开发单元之间获得有用的排序,您可能只需要恢复到时间尺度。

例如。使用的东西:.sql在哪里

  • yyyymmdd是开发单元的日期标记(例如开始开发或计划部署到生产的日期)
  • unitseq是标识开发单位的序列号。这需要确保正确的订购!因此,使用一组固定的字符会有所帮助。
  • subseq是开发单元内的排序序列号。

对于需要正确排序开发应变的更复杂情况,您可能仍需要注意跨开发单元的正确排序。

回到问题的例子:

由于您没有带有您姓名的分隔符,因此以下变体仍然会被flyway认为是不同的:

  • 0000_name_one.sql
  • 0000_name_one_projectA.sql
  • 0000_name_one_project_B.sql

根据我的建议,您可能会转向使用:

  • V20180211.p000.0000__name_one.sql
  • V20180302.p001.0000__name_one_projectA.sql
  • V20180301.p002.0000__name_one_projectB.sql

请注意,两个版本中的执行顺序不同!

© www.soinside.com 2019 - 2024. All rights reserved.