我有一个约300.000行的表;其中包括技术术语;使用PHP和MySQL + FULLTEXT索引进行查询。但是,当我搜索一个错误的输入术语,例如 "hyperpext",自然没有结果。
我需要 "compansate "小写错误,并从数据库中获得最近的记录。我怎样才能实现这样的功能?我知道Levenshtein距离,Soundex和Metaphone算法,但目前还没有一个可靠的想法来实现对数据库的查询。
谅谅
请看这篇文章,你可能会 在MySQL存储函数中实现列文斯丁距离。.
为了方便后人,笔者的建议是这样做。
CREATE FUNCTION LEVENSHTEIN (s1 VARCHAR(255), s2 VARCHAR(255))
RETURNS INT
DETERMINISTIC
BEGIN
DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
DECLARE s1_char CHAR;
DECLARE cv0, cv1 VARBINARY(256);
SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
IF s1 = s2 THEN
RETURN 0;
ELSEIF s1_len = 0 THEN
RETURN s2_len;
ELSEIF s2_len = 0 THEN
RETURN s1_len;
ELSE
WHILE j <= s2_len DO
SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;
END WHILE;
WHILE i <= s1_len DO
SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;
WHILE j <= s2_len DO
SET c = c + 1;
IF s1_char = SUBSTRING(s2, j, 1) THEN SET cost = 0; ELSE SET cost = 1; END IF;
SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;
IF c > c_temp THEN SET c = c_temp; END IF;
SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;
IF c > c_temp THEN SET c = c_temp; END IF;
SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;
END WHILE;
SET cv1 = cv0, i = i + 1;
END WHILE;
END IF;
RETURN c;
END
他还提供了一个LEVENSHTEIN_RATIO辅助方法 它将评估不同字符总数的比例 而不是直接的编辑距离。例如,如果是60%,那么源词中五分之三的字符与目的词不同。
CREATE FUNCTION LEVENSHTEIN_RATIO (s1 VARCHAR(255), s2 VARCHAR(255))
RETURNS INT
DETERMINISTIC
BEGIN
DECLARE s1_len, s2_len, max_len INT;
SET s1_len = LENGTH(s1), s2_len = LENGTH(s2);
IF s1_len > s2_len THEN SET max_len = s1_len; ELSE SET max_len = s2_len; END IF;
RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100);
END
从评论中可以看出 http:/dev.mysql.comdocrefman5.0enudf-compiling.html。
现在我从mysql udf仓库下载了这个包。 http:/empyrean.lib.ndsu.nodak.edu~nemmysql。
wget http://empyrean.lib.ndsu.nodak.edu/~nem/mysql/udf/dludf.cgi?ckey=28
ll
tar -xzvf dludf.cgi\?ckey\=28
gcc -shared -o libmysqllevenshtein.so mysqllevenshtein.cc -I/usr/include/mysql/
mv libmysqllevenshtein.so /usr/lib
mysql -uroot -pPASS
mysql> use DATABASE
mysql> CREATE FUNCTION levenshtein RETURNS INT SONAME 'libmysqllevenshtein.so';
mysql> select levenshtein(w1.word,w2.word) as dist from word w1, word w2 where ETC........... order by dist asc limit 0,10;
我建议你 错字 查询输入的变化。
即 hyperpext > { hyperpeext, hipertext, ... }等
其中必然有一个是正确的拼法(特别是对于常见的错别字而言)。
识别最有可能匹配的方法是在索引上对每个词进行查找,索引会告诉你该词的文档频率。 (有意义吗?)
为什么不添加一个表列来存储单词的备用形式(例如,Soundex)呢,这样一来,如果你的第一次SELECT没有找到完全匹配的词,你可以进行第二次搜索来寻找匹配的备用形式。
诀窍是对每个单词进行编码,使拼写错误的变体最终转换为相同的备用形式。