如何展示使用 SVM 进行文本分类（带或不带 SMO）的示例？

Question

我正在尝试比较使用支持向量机 (SVM) 和不使用顺序最小优化 (SMO) 的文本分类，但我不知道最好的方法是什么。

起初我认为，对于使用SMO的SVM，我可以使用sklearn的SVM，它基于LIBSVM，其中使用了SMO。至于没有SMO的SVM，我在Python库中找不到任何类型的SVM没有实现SMO，所以我想从头开始制作SVM，但我找不到任何在文本分类中使用它的例子。

Answer 1

当然！下面，我为您提供了一个使用支持向量机 (SVM) 进行文本分类的示例，其中有和没有顺序最小优化 (SMO)。对于带有 SMO 的 SVM，我们将使用流行的 scikit-learn 库，对于不带 SMO 的 SVM，我们将从头开始实现一个简单的线性 SVM，而不使用任何优化算法（如 SMO）。

SVM 与 SMO（使用 scikit-learn）：

from sklearn import svm
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Sample data
corpus = ["Text sample 1", "Text sample 2", ..., "Text sample N"]
labels = [0, 1, ..., 1]  # Binary labels (0 or 1)

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(corpus, labels, test_size=0.2, random_state=42)

# Convert text to TF-IDF features
vectorizer = TfidfVectorizer()
X_train_tfidf = vectorizer.fit_transform(X_train)
X_test_tfidf = vectorizer.transform(X_test)

# SVM with SMO
clf_svm_smo = svm.SVC(kernel='linear')
clf_svm_smo.fit(X_train_tfidf, y_train)

# Predictions
y_pred_smo = clf_svm_smo.predict(X_test_tfidf)

# Accuracy
accuracy_smo = accuracy_score(y_test, y_pred_smo)
print("Accuracy (SVM with SMO):", accuracy_smo)

不带 SMO 的 SVM（从头开始的简单线性 SVM）：

import numpy as np

# Helper function for training a simple linear SVM
def train_svm(X, y, learning_rate=0.01, epochs=100):
    n_samples, n_features = X.shape
    weights = np.zeros(n_features)
    bias = 0

    for epoch in range(epochs):
        for i in range(n_samples):
            if y[i] * (np.dot(X[i], weights) - bias) >= 1:
                weights -= learning_rate * (2 * 1 / epochs * weights)
            else:
                weights -= learning_rate * (2 * 1 / epochs * weights - np.dot(X[i], y[i]))
                bias -= learning_rate * y[i]

    return weights, bias

# Sample data (same as above)
# ...

# Convert text to TF-IDF features
# ...

# Convert TF-IDF sparse matrix to dense array
X_train_dense = X_train_tfidf.toarray()

# SVM without SMO
weights, bias = train_svm(X_train_dense, y_train)

# Predictions
y_pred_no_smo = np.sign(np.dot(X_test_tfidf.toarray(), weights) - bias)

# Accuracy
accuracy_no_smo = accuracy_score(y_test, y_pred_no_smo)
print("Accuracy (SVM without SMO):", accuracy_no_smo)

注意：这里实现的简单线性SVM仅用于说明。在实践中，像 scikit-learn 这样的库是 SVM 实现的首选，因为它们提供高效且优化的版本。此示例旨在在不使用 SMO 的情况下演示该概念。可以根据您的具体要求进行调整和优化。