我尝试用TfIdf作为第一步为短文本创建SVM分类器。当我创建Pipeline时,将其调整并获得准确度分数 - 一切看起来都正确。
vectorizer = TfidfVectorizer(analyzer='word', ngram_range=(1,4), max_features=50000, max_df=0.5, use_idf=True, norm='l2')
classifier = SGDClassifier(loss='hinge', max_iter=50, alpha=1e-05, penalty='l2')
pipe = Pipeline(steps=[('tfidf', vectorizer), ('clf', classifier)])
pipe.fit(X_train, y_train)
但是当我加载创建的模型并打印它时,我只得到一步--TfIdf而不是两个--TfIdf和SVM。
print(pipe)
Pipeline(memory=None,
steps=[('tfidf', TfidfVectorizer(analyzer='word', binary=False, decode_error='strict',
dtype=<class 'numpy.float64'>, encoding='utf-8', input='content',
lowercase=True, max_df=0.5, max_features=50000, min_df=1,
ngram_range=(1, 4), norm='l2', preprocessor=None, smooth_idf=True...m_state=None, shuffle=True, tol=None,
validation_fraction=0.1, verbose=0, warm_start=False))])
我假设我不明白管道是如何工作的,但是在我看到的每个例子中,首先在管道中加载了尽可能多的步骤。
感谢您的帮助!
似乎直接打印管道的输出被截断,并且不显示整个输出。例如,参数shuffle,tol,validation_fraction,verbose和warm_start属于SGDClassifier
。
正如您在评论中发现的那样,为避免截断,您可以使用pipeline.steps
直接打印步骤。