双击日语文字，Chrome如何确定突出显示的内容？

Question

如果您在Chrome中双击英文文本，则会高亮显示您单击的以空格分隔的单词。这并不奇怪。但是，有一天，我在阅读日语的一些文本时单击鼠标，发现即使日语没有空格，某些单词也会在单词边界处突出显示。这是一些示例文本：

どこで生れたかとんと见当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは记忆している。

例如，如果您单击薄暗い，Chrome会将其正确地突出显示为单个单词，即使它不是单个字符类（这是汉字和平假名的组合）。并非所有亮点都是正确的，但看起来并不是随机的。

Chrome如何确定此处突出显示的内容？我尝试在Chrome来源中搜索“日语单词”，但只发现了针对experimental module的测试，该测试在我的Chrome版本中似乎没有激活。

Answer 1

因此事实证明，v8具有非标准的多语言分词器，并且可以处理日语。

function tokenizeJA(text) {
  var it = Intl.v8BreakIterator(['ja-JP'], {type:'word'})
  it.adoptText(text)
  var words = []

  var cur = 0, prev = 0

  while (cur < text.length) {
    prev = cur
    cur = it.next()
    words.push(text.substring(prev, cur))
  }

  return words
}

console.log(tokenizeJA('どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。'))
// ["どこ", "で", "生れ", "たか", "とんと", "見当", "が", "つ", "か", "ぬ", "。", "何でも", "薄暗い", "じめじめ", "した", "所", "で", "ニャーニャー", "泣", "い", "て", "いた事", "だけ", "は", "記憶", "し", "て", "いる", "。"]

我还制作了一个jsfiddle来显示此内容。

质量并不令人惊讶，但我很惊讶，它完全受到支持。

Answer 2

基于links posted by JonathonW，答案基本上可以归结为：“日语单词列表很大，Chrome浏览器会检查您是否双击了单词。”

具体来说，v8使用ICU来完成一堆与Unicode相关的文本处理工作including breaking text up into words。 ICU边界检测代码包含"Dictionary-Based BreakIterator"，用于没有空格的语言，包括日语，中文，泰语等。

对于您的“薄暗い”的特定示例，您可以在组合的Chinese-Japanese dictionary shipped by ICU中找到该词（第255431行）。当前列表中共有315,671个中文/日语单词。据推测，如果您发现Chrome无法正确拆分的单词，则可以向ICU发送补丁以添加该单词。