从 Java 字符串中删除 ✅、🔥、✈、♛ 和其他此类表情符号/图像/符号

问题描述 投票：0回答：8

我有一些字符串，里面有各种不同的表情符号/图像/标志。

并非所有字符串都是英语——其中一些是其他非拉丁语言，例如：

▓ railway??
→ Cats and dogs
I'm on 🔥
Apples ⚛ 
✅ Vi sign
♛ I'm the king ♛ 
Corée ♦ du Nord ☁  (French)
 gjør at både ◄╗ (Norwegian)
Star me ★
Star ⭐ once more
早上好 ♛ (Chinese)
Καλημέρα ✂ (Greek)
another ✓ sign ✓
добрай раніцы ✪ (Belarus)
◄ शुभ प्रभात ◄ (Hindi)
✪ ✰ ❈ ❧ Let's get together ★. We shall meet at 12/10/2018 10:00 AM at Tony's.❉

...还有更多这些。

我想摆脱所有这些符号/图像，只保留不同语言的字母（和标点符号）。

我尝试使用 EmojiParser 库来清理标志：

String withoutEmojis = EmojiParser.removeAllEmojis(input);

问题是 EmojiParser 无法删除大部分符号。 ♦ 符号是我迄今为止发现的唯一一个被删除的符号。 其他标志如 ✪ ❉ ★ ✰ ❈ ❧ ✂ ❋ ⓡ ✿ ♛ 🔥 未移除。

有没有办法从输入字符串中删除所有这些符号，并仅保留不同语言中的字母和标点符号？

java regex string emoji
8个回答
322
投票

与其将某些元素列入黑名单，不如为您希望保留的字符创建白名单怎么样？这样您就不必担心添加每个新表情符号。

String characterFilter = "[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]";
String emotionless = aString.replaceAll(characterFilter,"");

所以：

  • [\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]
    是表示所有数字 (
    \\p{N}
    )、字母 (
    \\p{L}
    )、标记 (
    \\p{M}
    )、标点符号 (
    \\p{P}
    )、空格/分隔符 (
    \\p{Z}
    )、其他格式 (
    ) 的范围\\p{Cf}
    ）和 Unicode 中 
    U+FFFF
    上方的其他字符 (
    \\p{Cs}
    ) 以及换行符 (
    \\s
    ) 字符。 
    \\p{L}
    特别    包括其他字母表中的字符，例如西里尔字母、拉丁字母、汉字等。
  • 正则表达式字符集中的 
    ^
    否定匹配。

示例：

String str = "hello world _# 皆さん、こんにちは！　私はジョンと申します。🔥";
System.out.print(str.replaceAll("[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]",""));
// Output:
//   "hello world _# 皆さん、こんにちは！　私はジョンと申します。"

如果您需要更多信息，请查看 Java documentation 了解正则表达式。

83
投票

我不太喜欢 Java，所以我不会尝试内联编写示例代码，但我这样做的方法是检查 Unicode 所说的每个字符的“一般类别”。有几个字母和标点符号类别。

您可以使用 Character.getType 查找给定字符的一般类别。您可能应该保留属于这些一般类别的那些字符：

COMBINING_SPACING_MARK
CONNECTOR_PUNCTUATION
CURRENCY_SYMBOL
DASH_PUNCTUATION
DECIMAL_DIGIT_NUMBER
ENCLOSING_MARK
END_PUNCTUATION
FINAL_QUOTE_PUNCTUATION
FORMAT
INITIAL_QUOTE_PUNCTUATION
LETTER_NUMBER
LINE_SEPARATOR
LOWERCASE_LETTER
MATH_SYMBOL
MODIFIER_LETTER
MODIFIER_SYMBOL
NON_SPACING_MARK
OTHER_LETTER
OTHER_NUMBER
OTHER_PUNCTUATION
PARAGRAPH_SEPARATOR
SPACE_SEPARATOR
START_PUNCTUATION
TITLECASE_LETTER
UPPERCASE_LETTER

（您列出的特别要删除的所有字符都有一般类别

OTHER_SYMBOL
，我没有将其包含在上述类别白名单中。）

49
投票

基于完整表情符号列表，v11.0，您有 1644 个不同的 Unicode 代码点需要删除。例如，

✅
在此列表中为 
U+2705
。

有了完整的表情符号列表，您需要使用代码点将其过滤掉。迭代单个 

char
或 
byte
不起作用，因为单个代码点可以跨越多个字节。因为 Java 使用 UTF-16 表情符号通常需要两个
char
。

String input = "ab✅cd";
for (int i = 0; i < input.length();) {
  int cp = input.codePointAt(i);
  // filter out if matches
  i += Character.charCount(cp); 
}

从 Unicode 代码点 

U+2705
到 Java 
int
的映射非常简单：

int viSign = 0x2705;

或者因为 Java 支持 Unicode 字符串：

int viSign = "✅".codePointAt(0);
21
投票

ICU4J 是你的朋友。

UCharacter.hasBinaryProperty(UProperty.EMOJI);

请记住使您的 icu4j 版本保持最新，并注意这只会过滤掉官方 Unicode 表情符号，而不是符号字符。根据需要结合过滤掉其他字符类型。

更多信息： http://icu-project.org/apiref/icu4j/com/ibm/icu/lang/UProperty.html#EMOJI

10
投票

我在下面举了一些例子，并认为拉丁语就足够了，但是......

有没有办法从输入字符串中删除所有这些符号并 仅保留不同语言的字母和标点符号？

编辑后，使用

Character.getType
方法开发了一个新的解决方案，这似乎是最好的解决方案。

package zmarcos.emoji;

import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;

public class TestEmoji {

    public static void main(String[] args) {
        String[] arr = {"Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string",
            "→ Cats and dogs",
            "I'm on 🔥",
            "Apples ⚛ ",
            "✅ Vi sign",
            "♛ I'm the king ♛ ",
            "Star me ★",
            "Star ⭐ once more",
            "早上好 ♛",
            "Καλημέρα ✂"};
        System.out.println("---only letters and spaces alike---\n");
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Character.isLetter(cp) || Character.isWhitespace(cp)).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks white---\n");
        Set<Character.UnicodeBlock> whiteList = new HashSet<>();
        whiteList.add(Character.UnicodeBlock.BASIC_LATIN);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> whiteList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks black---\n");
        Set<Character.UnicodeBlock> blackList = new HashSet<>();        
        blackList.add(Character.UnicodeBlock.EMOTICONS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_TECHNICAL);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_ARROWS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_PICTOGRAPHS);
        blackList.add(Character.UnicodeBlock.ALCHEMICAL_SYMBOLS);
        blackList.add(Character.UnicodeBlock.TRANSPORT_AND_MAP_SYMBOLS);
        blackList.add(Character.UnicodeBlock.GEOMETRIC_SHAPES);
        blackList.add(Character.UnicodeBlock.DINGBATS);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> !blackList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
        System.out.println("\n---category---\n");
        int[] category = {Character.COMBINING_SPACING_MARK, Character.COMBINING_SPACING_MARK, Character.CONNECTOR_PUNCTUATION, /*Character.CONTROL,*/ Character.CURRENCY_SYMBOL,
            Character.DASH_PUNCTUATION, Character.DECIMAL_DIGIT_NUMBER, Character.ENCLOSING_MARK, Character.END_PUNCTUATION, Character.FINAL_QUOTE_PUNCTUATION,
            /*Character.FORMAT,*/ Character.INITIAL_QUOTE_PUNCTUATION, Character.LETTER_NUMBER, Character.LINE_SEPARATOR, Character.LOWERCASE_LETTER,
            /*Character.MATH_SYMBOL,*/ Character.MODIFIER_LETTER, /*Character.MODIFIER_SYMBOL,*/ Character.NON_SPACING_MARK, Character.OTHER_LETTER, Character.OTHER_NUMBER,
            Character.OTHER_PUNCTUATION, /*Character.OTHER_SYMBOL,*/ Character.PARAGRAPH_SEPARATOR, /*Character.PRIVATE_USE,*/
            Character.SPACE_SEPARATOR, Character.START_PUNCTUATION, /*Character.SURROGATE,*/ Character.TITLECASE_LETTER, /*Character.UNASSIGNED,*/ Character.UPPERCASE_LETTER};
        Arrays.sort(category);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Arrays.binarySearch(category, Character.getType(cp)) >= 0).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
    }

}

输出：

---only letters and spaces alike---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove      and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
Im on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 Im the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---unicode blocks white---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛

Καλημέρα ✂


---unicode blocks black---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
→ Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---category---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα

该代码的工作原理是将字符串流式传输到代码点。然后使用 lambda 过滤字符到 

int
数组中，然后我们将数组转换为 String。

字母和空格使用字符方法进行过滤，不适合标点符号。 尝试失败。

unicode 块白色 过滤器使用程序员指定为允许的 unicode 块。 尝试失败。

unicode 块黑色 过滤器使用程序员指定为不允许的 unicode 块。 尝试失败。

使用静态方法Character.getType的

category
过滤器。程序员可以在 
category
数组中定义允许的类型。 工作😨😱😰😲😀。

1
投票

尝试这个项目simple-emoji-4j

兼容Emoji 12.0（2018.10.15）

简单：

EmojiUtils.removeEmoji(str)
0
投票

Java 21 有一个新的 

IsEmoji
字符类：

var regex = "\\p{IsEmoji}";

删除所有表情符号：

var myString = "This is a ⭐ emoji and a \uD83C\uDF0D emoji";
var emojiRegex = "\\p{IsEmoji}";
var myStringWithoutEmojis = myString.replaceAll(emojiRegex, "");

提取所有表情符号：

var myString = "This is a ⭐ emoji and a \uD83C\uDF0D emoji";
var emojiRegex = "\\p{IsEmoji}";
var pattern = Pattern.compile(emojiRegex);
var matcher = pattern.matcher(myString);
var emojis = matcher.results().map(MatchResult::group).toList();
var emojisString = String.join(" ", emojis);
-4
投票

使用名为 RM-Emoji 的 jQuery 插件。其工作原理如下：

$('#text').remove('emoji').fast()

这是快速模式，可能会错过一些表情符号，因为它使用启发式算法在文本中查找表情符号。使用 

.full()
方法扫描整个字符串并保证删除所有表情符号。

最新问题
© www.soinside.com 2019 - 2024. All rights reserved.