我有两个匹配的字符串,并获得匹配的百分比。
鉴于:
String 1: John Smith Makde
String 2: Makde John Smith
使用以下用户定义的标量函数。
CREATE FUNCTION [dbo].[udf_GetPercentageOfTwoStringMatching]
(
@string1 NVARCHAR(1000)
,@string2 NVARCHAR(1000)
)
RETURNS INT
--WITH ENCRYPTION
AS
BEGIN
DECLARE @levenShteinNumber INT
DECLARE @string1Length INT = LEN(@string1), @string2Length INT = LEN(@string2)
DECLARE @maxLengthNumber INT = CASE WHEN @string1Length > @string2Length THEN @string1Length ELSE @string2Length END
SELECT @levenShteinNumber = [dbo].[f_ALGORITHM_LEVENSHTEIN] (@string1 ,@string2)
DECLARE @percentageOfBadCharacters INT = @levenShteinNumber * 100 / @maxLengthNumber
DECLARE @percentageOfGoodCharacters INT = 100 - @percentageOfBadCharacters
-- Return the result of the function
RETURN @percentageOfGoodCharacters
END
功能调用:
SELECT dbo.f_GetPercentageOfTwoStringMatching('John Smith Makde','Makde John Smith')
输出:
7
但是当我将两个字符串都设置为相同位置时:
SELECT dbo.f_GetPercentageOfTwoStringMatching('John Smith Makde','John Smith Makde')
输出:
100
预期结果:由于两个字符串单词相同但序列不同,我希望100%匹配百分比。
100
一次又一次地为数百万行执行此操作将是一场噩梦...我将添加另一列(或1:1
相关的边表)以永久存储规范化的字符串。试试这个:
- 创建一个模型表并用一些虚拟数据填充它
CREATE TABLE #MockUpYourTable(ID INT IDENTITY, SomeName VARCHAR(1000));
INSERT INTO #MockUpYourTable VALUES('Makde John Smith')
,('Smith John Makde')
,('Some other string')
,('string with with duplicates with');
GO
- 添加一列来存储规范化的字符串
ALTER TABLE #MockupYourTable ADD NormalizedName VARCHAR(1000);
GO
- 使用此脚本将字符串拆分为片段,并将它们重新连接为规范有序,无重复的字符串。
UPDATE #MockUpYourTable SET NormalizedName=CAST('<x>' + REPLACE((SELECT LOWER(SomeName) AS [*] FOR XML PATH('')),' ','</x><x>') + '</x>' AS XML)
.query(N'
for $fragment in distinct-values(/x/text())
order by $fragment
return $fragment
').value('.','nvarchar(1000)');
GO
- 检查结果
SELECT * FROM #MockUpYourTable
ID SomeName NormalizedName
----------------------------------------------------------
1 Makde John Smith john makde smith
2 Smith John Makde john makde smith
3 Some other string other some string
4 string with with duplicates with duplicates string with
--Clean-Up
GO
DROP TABLE #MockUpYourTable
提示使用触发器ON INSERT, UPDATE
保持这些值同步。
现在,您可以对要比较的字符串使用相同的转换,并使用以前的方法。由于重新排序,相同的片段将返回100%的相似性。
这个问题的+1。看来你正试图确定两个名字有多相似。很难确定你是如何做到这一点的。例如,我对Levenshtein Distance非常熟悉,但不明白你是如何尝试使用它的。为了帮助您入门,我将两种方法放在一起。这不是一个完整的答案,而是你需要做的任何工具。
要比较匹配的“名称部分”的数量,您可以像这样使用DelimitedSplit8K:
DECLARE
@String1 VARCHAR(100) = 'John Smith Makde Sr.',
@String2 VARCHAR(100) = 'Makde John Smith Jr.';
SELECT COUNT(*)/(1.*LEN(@String1)-LEN(REPLACE(@string1,' ',''))+1)
FROM
(
SELECT s1.item
FROM dbo.delimitedSplit8K(@String1,' ') AS s1
INTERSECT
SELECT s2.item
FROM dbo.delimitedSplit8K(@String2,' ') AS s2
) AS a
在这里我将名称分成原子值并计算哪些匹配。然后我们将该数字除以值的数量。 75%的3/4 = .75;四个名字中的3个匹配。
另一种方法是像这样使用NGrams8K:
DECLARE
@String1 VARCHAR(100) = 'John Smith Makde Sr.',
@String2 VARCHAR(100) = 'Makde John Smith Jr.';
SELECT (1.*f.L-f.MM)/f.L
FROM
(
SELECT
MM = SUM(ABS(s1.C-s2.C)),
L = CASE WHEN LEN(@String1)>LEN(@string2) THEN LEN(@String1) ELSE LEN(@string2) END
FROM
(
SELECT s1.token, COUNT(*)
FROM samd.NGrams8k(@String1,1) AS s1
GROUP BY s1.token
) AS s1(T,C)
JOIN
(
SELECT s1.token, COUNT(*)
FROM samd.NGrams8k(@String2,1) AS s1
GROUP BY s1.token
) AS s2(T,C)
ON s1.T=s2.T -- Letters that are equal
AND s1.C<>s2.C -- ... but the QTY is different
) AS f;
在这里,我们计算字符并减去不匹配。有两个(一个额外的J和一个额外的S)。两个字符串中较长的一个是20,字母和数量相等的字符有18个字符。 18/20 = .9或90%。
再一次,你所做的并不复杂,我只需要更多的细节来获得更好的答案。