获取匹配字符串的百分比

问题描述 投票:0回答:2

我有两个匹配的字符串,并获得匹配的百分比。

鉴于:

String 1: John Smith Makde

String 2: Makde John Smith   

使用以下用户定义的标量函数。

CREATE FUNCTION [dbo].[udf_GetPercentageOfTwoStringMatching]
(
    @string1 NVARCHAR(1000)
    ,@string2 NVARCHAR(1000)
)
RETURNS INT

--WITH ENCRYPTION 
AS
BEGIN

    DECLARE @levenShteinNumber INT

    DECLARE @string1Length INT = LEN(@string1), @string2Length INT = LEN(@string2)
    DECLARE @maxLengthNumber INT = CASE WHEN @string1Length > @string2Length THEN @string1Length ELSE @string2Length END

    SELECT @levenShteinNumber = [dbo].[f_ALGORITHM_LEVENSHTEIN] (@string1  ,@string2)

    DECLARE @percentageOfBadCharacters INT = @levenShteinNumber * 100 / @maxLengthNumber

    DECLARE @percentageOfGoodCharacters INT = 100 - @percentageOfBadCharacters

    -- Return the result of the function
    RETURN @percentageOfGoodCharacters

END

功能调用:

SELECT dbo.f_GetPercentageOfTwoStringMatching('John Smith Makde','Makde John Smith')    

输出:

7

但是当我将两个字符串都设置为相同位置时:

SELECT dbo.f_GetPercentageOfTwoStringMatching('John Smith Makde','John Smith Makde')

输出:

100

预期结果:由于两个字符串单词相同但序列不同,我希望100%匹配百分比。

100
sql-server tsql sql-server-2008-r2
2个回答
1
投票

一次又一次地为数百万行执行此操作将是一场噩梦...我将添加另一列(或1:1相关的边表)以永久存储规范化的字符串。试试这个:

- 创建一个模型表并用一些虚拟数据填充它

CREATE TABLE #MockUpYourTable(ID INT IDENTITY, SomeName VARCHAR(1000));
INSERT INTO #MockUpYourTable VALUES('Makde John Smith')
                                  ,('Smith John Makde')
                                  ,('Some other string')
                                  ,('string with with duplicates with');
GO

- 添加一列来存储规范化的字符串

ALTER TABLE #MockupYourTable ADD NormalizedName VARCHAR(1000);
GO

- 使用此脚本将字符串拆分为片段,并将它们重新连接为规范有序,无重复的字符串。

UPDATE #MockUpYourTable SET NormalizedName=CAST('<x>' + REPLACE((SELECT LOWER(SomeName) AS [*] FOR XML PATH('')),' ','</x><x>') + '</x>' AS XML)
                                            .query(N'
                                                    for $fragment in distinct-values(/x/text())
                                                    order by $fragment
                                                    return $fragment
                                                    ').value('.','nvarchar(1000)');           
GO

- 检查结果

SELECT * FROM #MockUpYourTable

ID  SomeName                            NormalizedName
----------------------------------------------------------
1   Makde John Smith                    john makde smith
2   Smith John Makde                    john makde smith
3   Some other string                   other some string
4   string with with duplicates with    duplicates string with

--Clean-Up
GO
DROP TABLE #MockUpYourTable

提示使用触发器ON INSERT, UPDATE保持这些值同步。

现在,您可以对要比较的字符串使用相同的转换,并使用以前的方法。由于重新排序,相同的片段将返回100%的相似性。


2
投票

这个问题的+1。看来你正试图确定两个名字有多相似。很难确定你是如何做到这一点的。例如,我对Levenshtein Distance非常熟悉,但不明白你是如何尝试使用它的。为了帮助您入门,我将两种方法放在一起。这不是一个完整的答案,而是你需要做的任何工具。

要比较匹配的“名称部分”的数量,您可以像这样使用DelimitedSplit8K

DECLARE 
  @String1 VARCHAR(100) = 'John Smith Makde Sr.',
  @String2 VARCHAR(100) = 'Makde John Smith Jr.';

SELECT COUNT(*)/(1.*LEN(@String1)-LEN(REPLACE(@string1,' ',''))+1)
FROM
(
  SELECT      s1.item
  FROM        dbo.delimitedSplit8K(@String1,' ') AS s1
  INTERSECT
  SELECT      s2.item
  FROM        dbo.delimitedSplit8K(@String2,' ') AS s2
) AS a

在这里我将名称分成原子值并计算哪些匹配。然后我们将该数字除以值的数量。 75%的3/4 = .75;四个名字中的3个匹配。

另一种方法是像这样使用NGrams8K

DECLARE 
  @String1 VARCHAR(100) = 'John Smith Makde Sr.',
  @String2 VARCHAR(100) = 'Makde John Smith Jr.';

SELECT (1.*f.L-f.MM)/f.L
FROM
(
  SELECT 
    MM = SUM(ABS(s1.C-s2.C)), 
    L  = CASE WHEN LEN(@String1)>LEN(@string2) THEN LEN(@String1) ELSE LEN(@string2) END
  FROM
  (
    SELECT s1.token, COUNT(*)
    FROM   samd.NGrams8k(@String1,1) AS s1
    GROUP BY s1.token
  ) AS s1(T,C)
  JOIN 
  (
    SELECT s1.token, COUNT(*)
    FROM   samd.NGrams8k(@String2,1) AS s1
    GROUP BY s1.token
  ) AS s2(T,C)
  ON  s1.T=s2.T  -- Letters that are equal
  AND s1.C<>s2.C -- ... but the QTY is different
) AS f;

在这里,我们计算字符并减去不匹配。有两个(一个额外的J和一个额外的S)。两个字符串中较长的一个是20,字母和数量相等的字符有18个字符。 18/20 = .9或90%。

再一次,你所做的并不复杂,我只需要更多的细节来获得更好的答案。

© www.soinside.com 2019 - 2024. All rights reserved.