我正在尝试在处理文本时将所有类型的智能引号转换为常规引号。但是,我编译的以下功能似乎仍然缺乏支持和适当的设计。
我怎样才能正确地转换所有引用字符?
function convert_smart_quotes($string)
{
$quotes = array(
"\xC2\xAB" => '"', // « (U+00AB) in UTF-8
"\xC2\xBB" => '"', // » (U+00BB) in UTF-8
"\xE2\x80\x98" => "'", // ‘ (U+2018) in UTF-8
"\xE2\x80\x99" => "'", // ’ (U+2019) in UTF-8
"\xE2\x80\x9A" => "'", // ‚ (U+201A) in UTF-8
"\xE2\x80\x9B" => "'", // ‛ (U+201B) in UTF-8
"\xE2\x80\x9C" => '"', // “ (U+201C) in UTF-8
"\xE2\x80\x9D" => '"', // ” (U+201D) in UTF-8
"\xE2\x80\x9E" => '"', // „ (U+201E) in UTF-8
"\xE2\x80\x9F" => '"', // ‟ (U+201F) in UTF-8
"\xE2\x80\xB9" => "'", // ‹ (U+2039) in UTF-8
"\xE2\x80\xBA" => "'", // › (U+203A) in UTF-8
);
$string = strtr($string, $quotes);
// Version 2
$search = array(
chr(145),
chr(146),
chr(147),
chr(148),
chr(151)
);
$replace = array("'","'",'"','"',' - ');
$string = str_replace($search, $replace, $string);
// Version 3
$string = str_replace(
array('‘','’','“','”'),
array("'", "'", '"', '"'),
$string
);
// Version 4
$search = array(
'‘',
'’',
'“',
'”',
'—',
'–',
);
$replace = array("'","'",'"','"',' - ', '-');
$string = str_replace($search, $replace, $string);
return $string;
}
注意:这个问题是关于全部引号的完整查询,包括这里询问的“微软”引号这是一个“重复”,就像询问所有轮胎尺寸是一个“重复”的询问一样对于汽车轮胎尺寸。
你需要这样的东西(假设 UTF-8 输入,并忽略 CJK(中文、日文、韩文)):
$chr_map = array(
// Windows codepage 1252
"\xC2\x82" => "'", // U+0082⇒U+201A single low-9 quotation mark
"\xC2\x84" => '"', // U+0084⇒U+201E double low-9 quotation mark
"\xC2\x8B" => "'", // U+008B⇒U+2039 single left-pointing angle quotation mark
"\xC2\x91" => "'", // U+0091⇒U+2018 left single quotation mark
"\xC2\x92" => "'", // U+0092⇒U+2019 right single quotation mark
"\xC2\x93" => '"', // U+0093⇒U+201C left double quotation mark
"\xC2\x94" => '"', // U+0094⇒U+201D right double quotation mark
"\xC2\x9B" => "'", // U+009B⇒U+203A single right-pointing angle quotation mark
// Regular Unicode // U+0022 quotation mark (")
// U+0027 apostrophe (')
"\xC2\xAB" => '"', // U+00AB left-pointing double angle quotation mark
"\xC2\xBB" => '"', // U+00BB right-pointing double angle quotation mark
"\xE2\x80\x98" => "'", // U+2018 left single quotation mark
"\xE2\x80\x99" => "'", // U+2019 right single quotation mark
"\xE2\x80\x9A" => "'", // U+201A single low-9 quotation mark
"\xE2\x80\x9B" => "'", // U+201B single high-reversed-9 quotation mark
"\xE2\x80\x9C" => '"', // U+201C left double quotation mark
"\xE2\x80\x9D" => '"', // U+201D right double quotation mark
"\xE2\x80\x9E" => '"', // U+201E double low-9 quotation mark
"\xE2\x80\x9F" => '"', // U+201F double high-reversed-9 quotation mark
"\xE2\x80\xB9" => "'", // U+2039 single left-pointing angle quotation mark
"\xE2\x80\xBA" => "'", // U+203A single right-pointing angle quotation mark
);
$chr = array_keys ($chr_map); // but: for efficiency you should
$rpl = array_values($chr_map); // pre-calculate these two arrays
$str = str_replace($chr, $rpl, html_entity_decode($str, ENT_QUOTES, "UTF-8"));
背景来了:
每个Unicode字符都属于一个“通用类别”,其中可以包含引号字符的如下:
Ps
“标点符号,打开”Pe
“标点符号,关闭”Pi
“标点符号,首引号(根据用法可能表现得像 Ps 或 Pe)”Pf
“标点符号,最后引用(根据用法可能表现得像 Ps 或 Pe)”Po
“标点符号,其他”(这些页面可以方便地检查您是否没有遗漏任何内容 - 还有一个 类别索引)
在支持 Unicode 的正则表达式中匹配这些类别有时很有用。
此外,Unicode 字符具有“属性”,其中您感兴趣的是
Quotation_Mark
。不幸的是,这些在正则表达式中是不可访问的。
在维基百科中,您可以找到具有Quotation_Mark
属性的组字符。最后的参考资料是 unicode.org 上的 PropList.txt,但这是一个 ASCII 文本文件。
如果你也需要翻译 CJK 字符,你只需要获取它们的代码点,决定它们的翻译,并找到它们的 UTF-8 编码,例如,通过在 fileformat.info 中查找(例如,对于 U+301E: http://www.fileformat.info/info/unicode/char/301e/index.htm).
关于Windows代码页1252:Unicode定义了前256个代码点来表示与ISO-8859-1完全相同的字符,但ISO-8859-1经常与Windows代码页1252混淆,因此所有浏览器渲染范围 0x80-0x9F,在 ISO-8859-1 中它是“空的”(更确切地说:它包含控制字符),就好像它是 Windows 代码页 1252。维基百科页面中的表格 列出了 Unicode 等价物。
strtr()
通常比str_replace()
慢。根据您的输入和您的 PHP 版本计时。够快的话可以直接用像我这样的地图$chr_map
.
如果您不确定您的输入是 UTF-8 编码的,并且愿意假设如果不是,那么它是 ISO-8859-1 或 Windows 代码页 1252,那么您可以先执行此操作:
if ( !preg_match('/^\\X*$/u', $str)) {
$str = utf8_encode($str);
}
警告:尽管如此,此正则表达式在极少数情况下可能无法检测到非 UTF-8 编码。例如:
"Gruß…"/*CP-1252*/=="Gru\xDF\x85"
看起来像这个正则表达式的 UTF-8(U+07C5 是 N'ko 数字 5)。这个正则表达式可以稍微增强,但不幸的是,它可以证明对于编码检测问题没有完全万无一失的解决方案。
如果你想将源自 Windows 代码页 1252 的范围 0x80-0x9F 规范化为常规 Unicode 代码点,你可以这样做(并删除上面
$chr_map
的第一部分):
$normalization_map = array(
"\xC2\x80" => "\xE2\x82\xAC", // U+20AC Euro sign
"\xC2\x82" => "\xE2\x80\x9A", // U+201A single low-9 quotation mark
"\xC2\x83" => "\xC6\x92", // U+0192 latin small letter f with hook
"\xC2\x84" => "\xE2\x80\x9E", // U+201E double low-9 quotation mark
"\xC2\x85" => "\xE2\x80\xA6", // U+2026 horizontal ellipsis
"\xC2\x86" => "\xE2\x80\xA0", // U+2020 dagger
"\xC2\x87" => "\xE2\x80\xA1", // U+2021 double dagger
"\xC2\x88" => "\xCB\x86", // U+02C6 modifier letter circumflex accent
"\xC2\x89" => "\xE2\x80\xB0", // U+2030 per mille sign
"\xC2\x8A" => "\xC5\xA0", // U+0160 latin capital letter s with caron
"\xC2\x8B" => "\xE2\x80\xB9", // U+2039 single left-pointing angle quotation mark
"\xC2\x8C" => "\xC5\x92", // U+0152 latin capital ligature oe
"\xC2\x8E" => "\xC5\xBD", // U+017D latin capital letter z with caron
"\xC2\x91" => "\xE2\x80\x98", // U+2018 left single quotation mark
"\xC2\x92" => "\xE2\x80\x99", // U+2019 right single quotation mark
"\xC2\x93" => "\xE2\x80\x9C", // U+201C left double quotation mark
"\xC2\x94" => "\xE2\x80\x9D", // U+201D right double quotation mark
"\xC2\x95" => "\xE2\x80\xA2", // U+2022 bullet
"\xC2\x96" => "\xE2\x80\x93", // U+2013 en dash
"\xC2\x97" => "\xE2\x80\x94", // U+2014 em dash
"\xC2\x98" => "\xCB\x9C", // U+02DC small tilde
"\xC2\x99" => "\xE2\x84\xA2", // U+2122 trade mark sign
"\xC2\x9A" => "\xC5\xA1", // U+0161 latin small letter s with caron
"\xC2\x9B" => "\xE2\x80\xBA", // U+203A single right-pointing angle quotation mark
"\xC2\x9C" => "\xC5\x93", // U+0153 latin small ligature oe
"\xC2\x9E" => "\xC5\xBE", // U+017E latin small letter z with caron
"\xC2\x9F" => "\xC5\xB8", // U+0178 latin capital letter y with diaeresis
);
$chr = array_keys ($normalization_map); // but: for efficiency you should
$rpl = array_values($normalization_map); // pre-calculate these two arrays
$str = str_replace($chr, $rpl, $str);
您可以使用这个函数来转换所有字符:
$output = iconv('UTF-8', 'ASCII//TRANSLIT', $input);
确定并将您的类型更改为您需要的类型。
(注意:这是从here发现的另一个类似问题)。