首页 > 分享 > 使用Python实现线性支持向量机（SVM）算法及其在数据分类中的应用

使用Python实现线性支持向量机（SVM）算法及其在数据分类中的应用

花匠小妙招
2025-12-17 19:44

引言

支持向量机（Support Vector Machine, SVM）是一种强大的机器学习算法，广泛应用于分类和回归任务中。其核心思想是寻找一个最优的超平面，以最大化不同类别数据之间的间隔。本文将详细介绍如何使用Python实现线性支持向量机（SVM）算法，并通过实际案例展示其在数据分类中的应用。

一、支持向量机算法概述

1.1 基本概念 超平面：在二维空间中，超平面是一条直线；在三维空间中，是一个平面；在高维空间中，则是一个超平面。 支持向量：离超平面最近的样本点，决定了超平面的位置。间隔：支持向量到超平面的距离，SVM的目标是最大化这个间隔。 1.2 线性可分情况

当数据线性可分时，SVM的目标是找到一个超平面，使得所有样本点被正确分类，并且间隔最大化。这可以转化为一个凸二次规划问题，通过求解对偶问题来找到最优解。

二、Python实现线性SVM

2.1 类的设计

我们将设计一个LinearSVM类，包含以下方法：

fit：训练模型。 predict：对新样本进行分类。 compute_kernel：计算核函数（线性核）。 2.2 Python代码实现

import numpy as np class LinearSVM: def __init__(self, learning_rate=0.001, lambda_param=0.01, n_iters=1000): self.lr = learning_rate self.lambda_param = lambda_param self.n_iters = n_iters self.weights = None self.bias = None def fit(self, X, y): n_samples, n_features = X.shape y_ = np.where(y <= 0, -1, 1) self.weights = np.zeros(n_features) self.bias = 0 for _ in range(self.n_iters): for idx, x_i in enumerate(X): condition = y_[idx] * (np.dot(x_i, self.weights) - self.bias) >= 1 if condition: self.weights -= self.lr * (2 * self.lambda_param * self.weights) else: self.weights -= self.lr * (2 * self.lambda_param * self.weights - np.dot(x_i, y_[idx])) self.bias -= self.lr * y_[idx] def predict(self, X): linear_output = np.dot(X, self.weights) - self.bias return np.sign(linear_output) # 示例数据 X = np.array([[1, 2], [2, 3], [3, 4], [4, 5]]) y = np.array([0, 1, 1, 0]) # 训练模型 svm = LinearSVM() svm.fit(X, y) # 预测新样本 new_samples = np.array([[1, 1], [5, 5]]) predictions = svm.predict(new_samples) print(predictions)

三、案例分析

3.1 案例一：鸢尾花分类问题描述

鸢尾花数据集是一个经典的机器学习数据集，包含三种鸢尾花的特征和标签。我们将使用线性SVM对其中两种鸢尾花进行分类。

数据准备

from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 加载数据 iris = datasets.load_iris() X = iris.data[iris.target != 2] y = iris.target[iris.target != 2] # 数据标准化 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42) 模型训练与预测

# 训练模型 svm = LinearSVM() svm.fit(X_train, y_train) # 预测测试集 predictions = svm.predict(X_test) # 评估模型 accuracy = np.mean(predictions == y_test) print(f"Accuracy: {accuracy * 100:.2f}%") 3.2 案例二：手写数字识别问题描述

手写数字数据集（MNIST）是一个包含手写数字图像的数据集。我们将使用线性SVM对数字0和1进行分类。

数据准备

from sklearn.datasets import load_digits # 加载数据 digits = load_digits() X = digits.data[(digits.target == 0) | (digits.target == 1)] y = digits.target[(digits.target == 0) | (digits.target == 1)] # 数据标准化 X_scaled = scaler.fit_transform(X) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42) 模型训练与预测

四、SVM的优化与核方法

4.1 核函数的选择

线性SVM适用于线性可分的数据。对于非线性数据，可以通过引入核函数将数据映射到高维空间，使其在高维空间中线性可分。常见的核函数包括：

线性核多项式核高斯（RBF）核 4.2 惩罚参数 ©

惩罚参数C控制着模型对误分类的容忍程度。C值越大，模型对误分类的惩罚越重，可能会导致过拟合；C值越小，模型对误分类的容忍度越高，可能会导致欠拟合。

五、总结

本文详细介绍了线性支持向量机（SVM）算法的原理及其在Python中的实现。通过两个实际案例——鸢尾花分类和手写数字识别，展示了线性SVM在数据分类中的应用。此外，还讨论了SVM的优化和核方法，为处理非线性数据提供了思路。通过本文的学习，读者可以掌握线性SVM的基本实现和应用，为进一步探索更复杂的SVM模型打下基础。