从数据框中删除特殊字符和字母数字的简单方法

Question

我有一个大型数据集，其中有 x 行和 y 列。其中一列为单词和一些不需要的数据。不需要的数据没有特定的模式，因此我发现很难将其从数据框中删除。

nonhashtag
['want', 'better', 'than', 'Dhabi,', 'United', 'Arab', 'Emirates']
['Just', 'posted', 'photo', 'Rasim', 'Villa']
['Dhabi', 'International', 'Airport', '(AUH)', '\xd9\x85\xd8\xb7\xd8\xa7\xd8\xb1', '\xd8\xa3\xd8\xa8\xd9\x88', '\xd8\xb8\xd8\xa8\xd9\x8a', '\xd8\xa7\xd9\x84\xd8\xaf\xd9\x88\xd9\x84\xd9\x8a', 'Dhabi']
['just', 'shrug', 'off!', 'Dubai', 'Mall', 'Burj', 'Khalifa']
['out!', 'Cowboy', 'steppin', 'Notorious', 'going', 'sleep!', 'Make', 'happen']
['Buona', 'notte', '\xd1\x81\xd0\xbf\xd0\xbe\xd0\xba\xd0\xbe\xd0\xb9\xd0\xbd\xd0\xbe\xd0\xb9', '\xd0\xbd\xd0\xbe\xd1\x87\xd0\xb8', '\xd9\x84\xd9\x8a\xd9\x84\xd8\xa9', '\xd8\xb3\xd8\xb9\xd9\x8a\xd8\xaf\xd8\xa9!', '\xd8\xa3\xd8\xa8\xd9\x88', '\xd8\xb8\xd8\xa8\xd9\x8a', 'Viceroy', 'Hotel,', 'Yas\xe2\x80\xa6']

每个不是单词的字符都将被删除，这只是大数据集中的一列。列名称是

nonhashtag

清洗色谱柱的简单方法是什么？立即删除它们或替换为

NAN

预期产出

nonhashtag
    ['want', 'better', 'than', 'Dhabi,', 'United', 'Arab', 'Emirates']
    ['Just', 'posted', 'photo', 'Rasim', 'Villa']
    ['Dhabi', 'International', 'Airport', '(AUH)', 'Dhabi']
    ['just', 'shrug', 'off!', 'Dubai', 'Mall', 'Burj', 'Khalifa']
    ['out!', 'Cowboy', 'steppin', 'Notorious', 'going', 'sleep!', 'Make', 'happen']
    ['Buona', 'notte', 'Viceroy', 'Hotel,']

每个

[]

都是该特定列中的一行，因此只需删除

\x and remaining characters

即可，空的

[]

应保留在该行中。保留该行很重要，因为该行的其他列填充了所需的信息。

要编写正确的代码，我无法通过读取的输入，因为我无法在数据集中找到模式来编写正则表达式。

提前感谢您的帮助

Answer 1

这就是你想要的吗？

In [71]: df.nonhashtag.apply(' '.join).str.replace('[^A-Za-z\s]+', '') \
           .str.split(expand=False)
Out[71]:
0    [want, better, than, Dhabi, United, Arab, Emir...
1                  [Just, posted, photo, Rasim, Villa]
2          [Dhabi, International, Airport, AUH, Dhabi]
3       [just, shrug, off, Dubai, Mall, Burj, Khalifa]
4    [out, Cowboy, steppin, Notorious, going, sleep...
5                  [Buona, notte, Viceroy, Hotel, Yas]
Name: nonhashtag, dtype: object

'[^A-Za-z\s]+'

- 是一个正则表达式，意思是接受所有字符除了那些：

• ASCII 代码从

  A

  到

  Z

• 从

  a

  到

  z

• 空格和制表符

所以

.str.replace('[^A-Za-z\s]+', '')

将删除除属于英文字母、空格和制表符之外的所有字符

Answer 2

我导入很多文件，很多时候列名很脏，它们会出现不需要的特殊字符，而且我不知道可能会出现哪些字符。我只希望列名称中包含下划线，并且没有空格

df.columns = df.columns.str.strip()     
df.columns = df.columns.str.replace(' ', '_')         
df.columns = df.columns.str.replace(r"[^a-zA-Z\d\_]+", "")    
df.columns = df.columns.str.replace(r"[^a-zA-Z\d\_]+", "")

Answer 3

使用 spacy 和 Nltk 从数据框中删除字符和字母数字 ssd