在Teradata中使用MERGEINSERT从增量表插入非重复表到主表。

问题描述 投票:0回答:1

我遇到了这样的情况:有一个主表叫MORTALITY(包含关于已故个人的信息)和另一个表叫INC_MORTALITY(增量死亡率)表,每周刷新一次注。这两个表的格式相似

所以INC_MORTALITY有本周的新记录,既包含了新增的死亡个人,也包含了以前交付记录的旧数据更新。这是一个单一的文件,有一列(OP_DIRECTIVE)指定它是 "添加 "还是 "删除 "记录。

处理每周文件 要纳入每周更新文件:我们需要在主表中添加OP_DIRECTIVE='A'的行作为每周更新的操作。

INSERT INTO db.MORTALITY
    SELECT
    DATA_SOURCE,
    OP_DIRECTIVE,
    DD_IMP_FLAG,
    DOB,
    DOD,
    DEATH_VERIFICATION,
    GENDER_PROBABILITY,
    GENDER,
    TOKEN_1,
    TOKEN_2,
    TOKEN_4,
    TOKEN_5,
    TOKEN_7,
    TOKEN_16,
    TOKEN_KEY
    FROM db.INC_MORTALITY INC
    WHERE INC.OP_DIRECTIVE = 'A';
--The above Query fetches all the records to be added to the Master Table - MORTALITY(My Requirement) and for some reason if INC_MORTALITY is not refreshed after a week i will be updating the same records again to the master file.

现在我已经更新了 primary index (token_1, token_2) 在我的表定义中,我知道它会抛出一个 ERROR 如果我们试图插入token_1 & token_2的相同值的记录,但这将是一个自动化的过程,我的工作将是 失败 如果有 ERROR 所以,我想让它在插入过程之前检查记录是否已经插入,这样它就会像使用IFNOTEXISTS stmt那样跳过插入重复的记录。

补充上述内容。我可以使用 MERGE WHEN NOT MATCHED THEN INSERT 这里的操作如下。

MERGE db.MORTALITY B
USING (SELECT
    DATA_SOURCE,
    OP_DIRECTIVE,
    DD_IMP_FLAG,
    DOB,
    DOD,
    DEATH_VERIFICATION,
    GENDER_PROBABILITY,
    GENDER,
    TOKEN_1,
    TOKEN_2,
    TOKEN_4,
    TOKEN_5,
    TOKEN_7,
    TOKEN_16,
    TOKEN_KEY
    FROM db.INC_MORTALITY
    WHERE OP_DIRECTIVE = 'A') A
    ON  A.TOKEN_1 = B.TOKEN_1
    AND A.TOKEN_2 = B.TOKEN_2
WHEN NOT MATCHED THEN
INSERT (A.DATA_SOURCE,A.OP_DIRECTIVE,A.DD_IMP_FLAG,A.DOB,A.DOD,A.DEATH_VERIFICATION,A.GENDER_PROBABILITY,A.GENDER,A.TOKEN_1,A.TOKEN_2,A.TOKEN_4,A.TOKEN_5,A.TOKEN_7,A.TOKEN_16,A.TOKEN_KEY);

上面的Query在Teradata Studio中执行得很好,但是没有从INC_MORTALITY到MORTALITY(master)表中插入任何记录,我是不是做错了什么?

UPDATE:


DROP TABLE IF EXISTS MORTALITY;


CREATE MULTISET  TABLE MORTALITY,
    NO BEFORE JOURNAL,
    NO AFTER JOURNAL,
    NO FALLBACK,
    CHECKSUM = DEFAULT
(

    DATA_SOURCE          VARCHAR(25) NULL 
        TITLE 'Data Source',
    OP_DIRECTIVE         VARCHAR(25) NULL 
        TITLE 'Operation Directive',
    DD_IMP_FLAG          INTEGER NULL 
        TITLE 'Death Date Imputation Flag',
    DOB                  DATE NULL 
        TITLE 'Date Of Birth',
    DOD                  DATE NULL 
        TITLE 'Date Of Death',
    DEATH_VERIFICATION   INTEGER NULL 
        TITLE 'Death Verification',
    GENDER_PROBABILITY   FLOAT NULL 
        TITLE 'Gender Probability Score',
    GENDER               VARCHAR(25) NULL 
        TITLE 'Gender',
    TOKEN_1              VARCHAR(44) NULL 
        TITLE 'Token 1',
    TOKEN_2              VARCHAR(44) NULL 
        TITLE 'Token 2',
    TOKEN_4              VARCHAR(44) NULL 
        TITLE 'Token 4',
    TOKEN_5              VARCHAR(44) NULL 
        TITLE 'Token 5',
    TOKEN_7              VARCHAR(44) NULL 
        TITLE 'Token 7',
    TOKEN_16             VARCHAR(44) NULL 
        TITLE 'Token 16',
    TOKEN_KEY            VARCHAR(44) NULL 
        TITLE 'Token Key'
)
    PRIMARY INDEX MORTALITY_IX1
     (
            TOKEN_1,
            TOKEN_2
     );

这是MORTALITY的表DDL,INC_MORTALITY也有类似的格式。TOKEN_1,TOKEN_2这两个列的组合都标识了一条唯一的记录,而且正如你所看到的那样,所有这些列都是NULLABLE的。Duplicate unique prime key error in db.MORTALITY,如果记录已经插入我希望信息帮助,谢谢

teradata sql-insert sql-merge
1个回答
0
投票

我自己也做了一些研究,想出了下面的方法。

1)使用INSERT这个查询对我来说很有效,它只插入INC_MORTALITY中的记录,而不插入MORTALITY中的记录(避免重复)。

    INSERT INTO db.MORTALITY 
    SELECT * FROM db.INC_MORTALITY INC
    WHERE INC.OP_DIRECTIVE = 'A'
    EXCEPT
    SELECT * FROM db.MORTALITY_INDEX

2)同样使用MERGE

MERGE db.MORTALITY MI
USING (SELECT
    DATA_SOURCE,
    OP_DIRECTIVE,
    DD_IMP_FLAG,
    DOB,
    DOD,
    DEATH_VERIFICATION,
    GENDER_PROBABILITY,
    GENDER,
    TOKEN_1,
    TOKEN_2,
    TOKEN_4,
    TOKEN_5,
    TOKEN_7,
    TOKEN_16,
    TOKEN_KEY
    FROM db.INC_MORTALITY
    WHERE OP_DIRECTIVE = 'A') INC
    ON  MI.DATA_SOURCE        = INC.DATA_SOURCE
    AND MI.DD_IMP_FLAG        = INC.DD_IMP_FLAG
    AND MI.DOB                = INC.DOB
    AND MI.DOD                = INC.DOD
    AND MI.DEATH_VERIFICATION = INC.DEATH_VERIFICATION
    AND MI.GENDER_PROBABILITY = INC.GENDER_PROBABILITY
    AND MI.GENDER             = INC.GENDER
    AND MI.TOKEN_1            = INC.TOKEN_1
    AND MI.TOKEN_2            = INC.TOKEN_2
    AND MI.TOKEN_4            = INC.TOKEN_4
    AND MI.TOKEN_5            = INC.TOKEN_5
    AND MI.TOKEN_7            = INC.TOKEN_7
    AND MI.TOKEN_16           = INC.TOKEN_16
    AND MI.TOKEN_KEY          = INC.TOKEN_KEY
WHEN NOT MATCHED THEN
INSERT (DATA_SOURCE,
        OP_DIRECTIVE,
        DD_IMP_FLAG,
        DOB,
        DOD,
        DEATH_VERIFICATION,
        GENDER_PROBABILITY,
        GENDER,
        TOKEN_1,
        TOKEN_2,
        TOKEN_4,
        TOKEN_5,
        TOKEN_7,
        TOKEN_16,
        TOKEN_KEY) 
VALUES (INC.DATA_SOURCE,
        INC.OP_DIRECTIVE,
        INC.DD_IMP_FLAG,
        INC.DOB,
        INC.DOD,
        INC.DEATH_VERIFICATION,
        INC.GENDER_PROBABILITY,
        INC.GENDER,
        INC.TOKEN_1,
        INC.TOKEN_2,
        INC.TOKEN_4,
        INC.TOKEN_5,
        INC.TOKEN_7,
        INC.TOKEN_16,
        INC.TOKEN_KEY);

谢谢大家对我的问题的贡献!!!!!!!!。

© www.soinside.com 2019 - 2024. All rights reserved.