tokenize 相关问题

标记化是将字符串拆分为称为标记的离散元素的行为。

全文中的标记化，用与号表示

我当前正在使用tidytext包中的unnest_tokens（）函数。它完全按照我的需要工作，但是，它从文本中删除了“＆”号。我希望它不这样做，但是...

r tokenize tidytext unnest

回答 1 投票 0

在C ++中标记字符串[关闭]

描述：在C ++中构建基本代码以标记字符串（包括空格）。主要思想：调用一个局部函数，该函数使用......>

c++ tokenize

回答 1 投票 -1

如何在numpy.ndarray中标记？

我有以下ndarray：X_train：[[，]] array（[['Boots new'，'Boots 46 size new']，['iPhone 7 plus 128GB Red'，'\ xa0 / \ n / \ n此价格仅适用于Instagram ...

python numpy multidimensional-array nltk tokenize

回答 1 投票 0

找不到资源点。但是，它已下载并安装

我在数据框中有以下几列。未命名：0，标题，出版物，作者，年份，月份，title.1，内容，len_article，gensim_summary，split_words，first_100_words我正在尝试运行此...

python python-3.x dataframe nltk tokenize

回答 1 投票 0

无法从存储在csv中的URL获取NetLock

我有一个带有4k行url的csv文件。我想获取每个URL的NetLoc并绘制一个条形图，显示该URL中排名前5位的Netloc。 #i已使用此代码！pip install wget link_to_data ='...

python url tokenize

回答 1 投票 0

将可能是元组或其他名称的字符串标记化

我正在为基本的编程语言构建词法分析器（令牌生成器），而我正在考虑的语言功能之一就是可以将字符串解析为元组或表达式。 ...

regex parsing split tokenize lexer

回答 1 投票 0

'CountVectorizer（）'在空格而不是逗号处分割

因此，在我的数据框中，我有一个“演员”列，其中包含多个演员的“名字的姓氏”。例如：当我使用CountVectorizer（...

python pandas scikit-learn nlp tokenize

回答 2 投票 0

使用Word2Vec对字符串列表进行向量化，以提供给keras顺序层

我正在尝试使用fastText构建定制的单词嵌入模型，该模型将我的数据（句子列表）表示为矢量，因此我可以将其“馈送”到Keras CNN进行滥用语言检测。我的...

keras nlp tokenize word2vec fasttext

回答 1 投票 -1

在将函数传递给令牌https://github.com/allenai/scispacy时使用unnest_tokens（）时出错，

unnest_tokens.data.frame（。，实体，文本，令牌= tokenize_scispacy_entities，中的错误：：令牌化函数的预期输出为长度为100的列表。unnest_tokens（）对于...非常有效。

r tokenize spacy tidytext

回答 1 投票 1

AttributeError：'spacy.tokens.doc.Doc'对象没有属性'lower'

我正在将文本添加到列表中，然后将文本更改为嵌入单词，然后进行机器学习。 “文章”中的“插入项”是通过使用spacy收集的，但随后我遇到了...

python tokenize spacy doc

回答 1 投票 1

将字符串中的单词提取到动态2D char数组中

我有一个包含字符串的动态char数组。我正在尝试从该字符串中提取所有单词到动态2d char数组中。这是我的代码：int rows = 1;字符* input_words = malloc（（行）* ...

c string multidimensional-array tokenize dynamic-arrays

回答 1 投票 1

尝试标记字符串并将每个部分插入数组时出错

while（fgets（buff，sizeof（char *）* 100，文件））{如果（line == 0）{fgets（buff，sizeof（char *）* 100，文件）;线++; } int i = 0; char * p = strtok（buff，“，”）;字符* ...

c tokenize

回答 1 投票 0

如何使用python从列表中删除空引号？

我有一个Python脚本，可以对文本进行预处理，然后再进行文本分析。清除文本的一些功能是：删除少于两个字符的字符串。标记化...

python list tokenize

回答 1 投票 -1

我使用什么数据结构来应用深度学习算法

我正在研究日志文件异常检测。我已经阅读了日志文件，并完成了标记化和过滤，现在我有了一个标记列表，我想应用深度学习算法，这应该如何...

machine-learning deep-learning lstm tokenize bert-toolkit

回答 2 投票 0

MLlib regexTokenizer忽略口音

我正在用pySpark（Python3）测试MLlib令牌生成器：＃-*-编码：utf-8-*-来自pyspark.sql.window导入pyspark.sql.functions的窗口从pyspark.ml.feature导入row_number导入...

regex tokenize apache-spark-mllib

回答 1 投票 0

iOS字符串：通过CharacterSet删除前缀和后缀[关闭]

对于Swift中的给定String，我需要删除属于预定义字符集的前缀和后缀字符。我可以使用具有字符集的components（separatedBy :)并摆脱空的...

ios swift string tokenize

回答 1 投票 -2

如何使用Python标记csv文件中特定列中的所有行？

我正在使用Python进行情感分析（我仍然是使用该特定编程语言的新手）。我在csv文件中有一些Twitter数据，需要先进行预处理，然后再进行真正的...

python pycharm spyder tokenize sentiment-analysis

回答 1 投票 -1

如何将复杂，复合和较长的句子拆分为python中的简单句子

我想将复杂和复合的句子拆分为简单的句子。我想使用一组连接器作为分离器。我尽量不要使用诸如[，]之类的标点符号作为分隔符。我打算...

python split tokenize sentence

回答 1 投票 -1

在Java中以2个字符的分隔符分隔字符串[duplicate]

我有第一个格式的字符串

java tokenize stringtokenizer

回答 1 投票 0

word_tokenize使用相同的代码和相同的数据集，但结果不同，为什么？

上个月，我试图标记文本并创建一个单词，以查看哪个单词经常出现。今天，我想在具有相同代码的相同数据集中再次执行此操作。它仍然有效，但结果是...

python nltk tokenize text-mining

回答 1 投票 0

tokenize 相关问题

最新问题