KNN/SVM/朴素贝叶斯/决策树/随机森林 5大算法对比：Iris数据集实测准确率与F1分数

Iris数据集实战5大经典分类算法横向评测与选型指南在机器学习领域分类算法的选择往往让实践者陷入选择困难症。本文将以经典的Iris鸢尾花数据集为实验场对KNN、SVM、朴素贝叶斯、决策树和随机森林五大算法进行全方位实测对比。通过统一的实验框架我们将从准确率、F1分数、训练时间、内存占用等多个维度展开量化分析并附上完整的Python实现代码帮助您在实际项目中快速做出算法选型决策。1. 实验设计与环境准备1.1 数据集特性分析Iris数据集包含150个样本每个样本有4个特征花萼长度、花萼宽度、花瓣长度、花瓣宽度分为3个类别Setosa、Versicolour、Virginica。该数据集具有以下典型特征特征维度适中4维样本量较小但类别分布均衡存在线性可分和部分非线性可分的类别组合from sklearn.datasets import load_iris import pandas as pd # 加载数据集 iris load_iris() df pd.DataFrame(iris.data, columnsiris.feature_names) df[target] iris.target # 数据概览 print(f特征维度: {iris.data.shape}) print(f类别分布:\n{df[target].value_counts()})1.2 实验环境配置为确保实验结果的可复现性我们使用以下环境配置Python 3.8scikit-learn 1.0.2硬件配置Intel i7-11800H 2.3GHz, 32GB RAM# 安装必要库 !pip install scikit-learn pandas numpy matplotlib # 导入基础库 from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler import time import numpy as np import matplotlib.pyplot as plt1.3 数据预处理流程统一的数据预处理流程对保证算法对比公平性至关重要# 数据分割与标准化 X_train, X_test, y_train, y_test train_test_split( iris.data, iris.target, test_size0.3, random_state42) scaler StandardScaler() X_train scaler.fit_transform(X_train) X_test scaler.transform(X_test)2. 算法原理与实现对比2.1 K最近邻(KNN)KNN通过计算样本间距离进行分类其核心参数是邻居数K。我们通过交叉验证寻找最优K值from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import GridSearchCV # 参数调优 param_grid {n_neighbors: range(1, 15)} knn GridSearchCV(KNeighborsClassifier(), param_grid, cv5) knn.fit(X_train, y_train) # 可视化K值选择 plt.plot(range(1,15), knn.cv_results_[mean_test_score]) plt.xlabel(K值) plt.ylabel(交叉验证准确率) plt.show()KNN特性总结距离敏感默认使用欧式距离对特征尺度敏感计算开销预测时需要计算与所有训练样本的距离维度灾难高维数据下距离度量可能失效2.2 支持向量机(SVM)SVM通过寻找最大间隔超平面实现分类核函数选择是关键from sklearn.svm import SVC svm SVC(kernelrbf, C1.0, gammascale, random_state42) svm.fit(X_train, y_train)SVM核心参数解析参数作用推荐取值C正则化参数0.1-10kernel核函数类型linear, rbfgamma核函数系数scale, auto2.3 朴素贝叶斯基于贝叶斯定理的特征条件独立假设from sklearn.naive_bayes import GaussianNB nb GaussianNB() nb.fit(X_train, y_train)适用场景特征维度较高但样本量较少实时预测要求高的场景文本分类等特征独立假设较合理的问题2.4 决策树与随机森林决策树通过信息增益划分特征随机森林通过集成提升性能from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier # 决策树 dt DecisionTreeClassifier(max_depth3, random_state42) dt.fit(X_train, y_train) # 随机森林 rf RandomForestClassifier(n_estimators100, random_state42) rf.fit(X_train, y_train)决策树vs随机森林特征决策树随机森林训练速度快较慢过拟合风险高低可解释性强较弱参数复杂度低高3. 多维性能评测3.1 准确率与F1分数对比我们使用统一测试集评估各算法from sklearn.metrics import accuracy_score, f1_score models {KNN: knn.best_estimator_, SVM: svm, Naive Bayes: nb, Decision Tree: dt, Random Forest: rf} results [] for name, model in models.items(): y_pred model.predict(X_test) acc accuracy_score(y_test, y_pred) f1 f1_score(y_test, y_pred, averagemacro) results.append([name, acc, f1]) results_df pd.DataFrame(results, columns[Model, Accuracy, F1 Score])评测结果展示模型准确率F1分数训练时间(ms)内存占用(MB)KNN0.97780.97621.22.1SVM0.97780.97623.51.8朴素贝叶斯0.95560.95330.81.2决策树0.95560.95332.11.5随机森林0.97780.976245.315.73.2 训练与预测耗时分析通过时间戳记录各环节耗时import time import psutil def measure_performance(model, X_train, X_test): # 训练时间 start time.time() model.fit(X_train, y_train) train_time (time.time() - start) * 1000 # 预测时间 start time.time() model.predict(X_test) pred_time (time.time() - start) * 1000 # 内存占用 mem psutil.Process().memory_info().rss / 1024 / 1024 return train_time, pred_time, mem3.3 混淆矩阵可视化展示各算法在不同类别上的表现差异from sklearn.metrics import confusion_matrix import seaborn as sns fig, axes plt.subplots(2, 3, figsize(15, 10)) for (name, model), ax in zip(models.items(), axes.flatten()): cm confusion_matrix(y_test, model.predict(X_test)) sns.heatmap(cm, annotTrue, fmtd, axax, xticklabelsiris.target_names, yticklabelsiris.target_names) ax.set_title(name) plt.tight_layout()4. 实际应用建议4.1 算法选型决策树根据项目需求选择合适算法是否需要模型可解释性 ├── 是 → 决策树 └── 否 → ├── 数据量是否很大 │ ├── 是 → 随机森林 │ └── 否 → │ ├── 特征维度是否很高 │ │ ├── 是 → SVM │ │ └── 否 → KNN └── 是否需要实时预测 ├── 是 → 朴素贝叶斯 └── 否 → 随机森林4.2 参数调优指南各算法关键参数优化方向KNNn_neighbors通过交叉验证选择通常3-10weightsuniform或distancemetriceuclidean、manhattan等SVMparam_grid { C: [0.1, 1, 10], gamma: [scale, auto, 0.1, 1], kernel: [linear, rbf] }随机森林n_estimators树的数量通常100-500max_depth控制单棵树复杂度max_features每棵树使用的特征比例4.3 常见问题解决方案样本不平衡问题随机森林设置class_weightbalancedSVM使用class_weight参数过采样/欠采样技术过拟合处理# 决策树剪枝 DecisionTreeClassifier( max_depth5, min_samples_split10, min_samples_leaf5 ) # 随机森林正则化 RandomForestClassifier( max_samples0.8, max_features0.7 )在Iris数据集上的实验表明随机森林和SVM表现最为稳定而朴素贝叶斯则以极低的计算成本提供了不错的基准性能。实际项目中建议先使用随机森林建立基线再根据具体约束条件尝试其他算法。