解析人名并在Ruby中匹配它们

问题描述 投票：3回答：8

我正在寻找一个宝石或项目，让我发现两个名字是同一个人。例如

J.R. Smith == John R. Smith == John Smith == John Roy Smith == Johnny Smith

我想你应该已经明白了。我知道什么都不会100％准确，但我想得到的东西至少可以处理大多数情况。我知道最后一个可能需要一个昵称数据库。

ruby parsing names
8个回答
4
投票

我认为一个选择是使用Levenshtein distance的ruby实现

两个字符串之间的Levenshtein距离定义为将一个字符串转换为另一个字符串所需的最小编辑数，允许的编辑操作是插入，删除或替换单个字符。

然后你可以定义距离小于X的名字（X是你必须调整的数字）来自同一个人。

编辑通过一点点搜索，我能够找到另一种算法，基于语音称为Metaphone

它还有很多漏洞，但我认为在这种情况下，每个人都可以做的最好的事情就是为你提供替代方案来测试并看看哪种方法效果最好

4
投票

这有点晚了（并且是一个无耻的启动插件），但是为了它的价值，我在GSoC项目期间写了一个human name parser，你可以用gem install namae安装它。它显然无法可靠地检测到您的重复项，但它可以帮助您完成此类任务。

例如，您可以解析示例中的名称并使用显示形式使用首字母来检测其首字母相同的名称，依此类推：

names = Namae.parse('J.R. Smith and John R. Smith and John Smith and John Roy Smith and Johnny Smith ')
names.map { |n| [n.given, n.family] }
#=> => [["J.R.", "Smith"], ["John R.", "Smith"], ["John", "Smith"], ["John Roy", "Smith"], ["Johnny", "Smith"]]
names.map { |n| n.initials expand: true }
#=> ["J.R. Smith", "J.R. Smith", "J. Smith", "J.R. Smith", "J. Smith"]
3
投票

就像是：

1：将名称转换为数组：

irb> names.map!{|n|n.scan(/[^\s.]+\.?/)}
["J.", "R.", "Smith"]
["John", "R.", "Smith"]
["John", "Smith"]
["John", "Roy", "Smith"]
["Johnny", "Smith"]

2：身份的某些功能：

for a,b in names.combination(2)
    p [(a&b).size,a,b]
end
[2, ["J.", "R.", "Smith"], ["John", "R.", "Smith"]]
[1, ["J.", "R.", "Smith"], ["John", "Smith"]]
[1, ["J.", "R.", "Smith"], ["John", "Roy", "Smith"]]
[1, ["J.", "R.", "Smith"], ["Johnny", "Smith"]]
[2, ["John", "R.", "Smith"], ["John", "Smith"]]
[2, ["John", "R.", "Smith"], ["John", "Roy", "Smith"]]
[1, ["John", "R.", "Smith"], ["Johnny", "Smith"]]
[2, ["John", "Smith"], ["John", "Roy", "Smith"]]
[1, ["John", "Smith"], ["Johnny", "Smith"]]
[1, ["John", "Roy", "Smith"], ["Johnny", "Smith"]]

或者你可以使用& + .permutation + .zip代替.max来应用一些自定义函数，它确定的是名称相同的部分。

UPD：

aim = 'Rob Bobbie Johnson'
candidates = [
    "Bob Robbie John",
    "Bobbie J. Roberto",
    "R.J.B.",
]

$synonyms = Hash[ [
    ["bob",["bobbie"]],
    ["rob",["robbie","roberto"]],
] ]

def prepare name
    name.scan(/[^\s.]+\.?/).map &:downcase
end

def mf a,b # magick function
    a.zip(b).map do |i,j|
        next 1 if i == j
        next 0.9 if $synonyms[i].to_a.include?(j) || $synonyms[j].to_a.include?(i)
        next 0.5 if i[/\.$/] && j.start_with?(i.chomp '.')
        next 0.5 if j[/\.$/] && i.start_with?(j.chomp '.')
        -10 # if some part of name appears to be different -
            # it's bad even if another two parts were good
    end.inject :+
end

for c in candidates
    results = prepare(c).permutation.map do |per|
        [mf(prepare(aim),per),per]
    end
    p [results.transpose.first.max,c]
end

[-8.2, "Bob Robbie John"]  # 0.9 + 0.9 - 10 # Johnson != John # I think ..)
[2.4, "Bobbie J. Roberto"] # 1 + 0.9 + 0.5 # Rob == Roberto, Bobbie == Bobbie, Johnson ~~ J.
[1.5, "R.J.B."]            # 0.5 + 0.5 + 0.5
2
投票

对于任何必须尝试匹配来自不同数据源的人名的人来说，这是一个非常难以解决的问题。使用3颗宝石的组合似乎做得很好。

我们有一个应用程序，我们在列表A中有一百万人，需要将它们与几十个不同的数据源相匹配。 （尽管一些更迂腐的评论声称，这不是'设计缺陷'，而是处理'真实世界'凌乱数据的本质。）

到目前为止，我们发现合理使用的唯一一件事就是使用namae gem（用于将名称解析为标准化的第一，中间，最后，后缀表示）和text gem的组合来计算levenshtein，soundex，metaphone和porter得分，以及计算JaroWinkler得分的fuzzy-string-match（这通常是该中最好的）。

  1. 解析为使用namae分隔last，first，middle，suffix的标准格式。当格式化John "JJ" Doe或Samuel (Sammy) Smith时，我们使用正则表达式进行预处理以提取昵称
  2. 计算全名的消毒版本上的所有分数（全部大写，删除标点符号，姓氏优先）... jarowinkler，soundex，levenshtein，metaphone，white，porter。 （JaroWinkler和Soundex经常做到最好。）
  3. 如果N分数超过单独设定的阈值，则声明匹配。 （我们使用通过的任何2作为通行证）
  4. 如果不匹配，请再次使用姓氏，名字，中间名，更高的阈值（例如，更严格的匹配）。
  5. 仍然没有匹配，用昵称（如果有的话）替换名字，然后再试一次。

通过对每种评分方法的评分阈值进行一些调整，我们得到了相当不错的结果。因人而异。

将姓氏放在首位的BTW非常重要，至少对于JaroWinkler来说，因为姓氏的变异通常较少（Smithe几乎总是Smithe，但名字可能是Tom或Tommy或Thomas在不同的数据源中），并且字符串在JaroWinkler中最“敏感”。对于“ROB SMITHE / ROBIN SMITHE，如果你先说出名字，JaroWinkler距离是0.91，如果你先做名字，那么距离是0.99。

1
投票

你可能会发现最好的预编码就是这个名为“text”的宝石。

https://github.com/threedaymonk/text

它有许多匹配的算法：Levenshtein距离，Metaphone，Soundex等。

0
投票

我不认为这样的图书馆存在。

我不是故意冒犯，但这个问题似乎是由于设计不佳引起的。也许如果你发布关于你试图解决的一般问题的更多细节，人们可以提出更好的方法。

0
投票

Ruby有一个非常漂亮的宝石叫text，我发现Text::WhiteSimilarity本身非常好，但它也实现了一堆其他的测试

0
投票

最初尝试使用Ruby中强大的人名匹配器/聚类解决方案：https://github.com/adrianomitre/match_author_names

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.