第五章：Python在人工智能领域的应用

5.1 人工智能、机器学习和深度学习简介

5.2 机器学习模型构建和常用库

• AI的定义

  • 人工智能（Artificial Intelligence，AI）是一门计算机科学领域，旨在创建具备智能的计算机系统，使其能够模仿人类的智能行为。这包括学习、推理、问题解决、感知、语言理解和决策制定等各种智能任务。AI的目标是使计算机系统能够在特定领域或任务中表现出类似人类的智能水平，甚至在某些情况下超越人类智能。

  • AI系统通过使用大量数据和复杂的算法来模拟和实现各种智能任务。AI技术包括机器学习、深度学习、自然语言处理、计算机视觉、强化学习等。这些技术允许计算机系统从经验中学习，不断改进性能，并适应新的情境和问题。

• AI的发展趋势

机器学习步骤：

1. 数据收集与准备：收集与问题相关的数据，清理和准备数据以确保数据质量。这包括数据清洗、特征选择和标签分配。

2. 特征工程：在这一步骤中，数据特征被选择、转换和创建，以使其适用于机器学习算法。这有助于提高模型性能。

3. 模型选择：选择适当的机器学习算法，根据问题类型（分类、回归等）和数据集特点来确定最佳算法。

4. 模型训练：使用训练数据集来训练选定的模型，使其学会模式并进行预测。

机器学习步骤：

5. 模型评估：通过使用验证数据集来评估模型的性能，以了解模型的准确性和泛化能力。

6. 超参数调整：调整模型的超参数，以进一步改善模型性能。

7. 模型部署：一旦满意的模型被创建，它可以部署到生产环境中，用于实际应用。

深度学习步骤：

1. 数据准备：与机器学习类似，深度学习也需要数据准备，但更注重大规模、高维度的数据。

2. 构建神经网络：在深度学习中，关键步骤是构建深层神经网络，包括定义网络结构、层次和激活函数的选择。

3. 初始化参数：初始化神经网络的权重和偏置参数，通常使用随机初始化。

4. 前向传播：将数据通过神经网络传递，从输入层到输出层，计算模型的预测值。

5. 损失函数：定义损失函数，用于测量模型的性能，通常是预测值与实际值之间的误差。

深度学习步骤：

6. 反向传播：通过反向传播算法，根据损失函数的梯度，更新神经网络的参数，以最小化损失。

7. 训练和优化：重复前向传播和反向传播过程，直到模型收敛，即损失函数足够小。

8. 模型评估：与机器学习一样，深度学习模型需要在验证数据集上进行评估。

9. 超参数调整：调整神经网络的超参数，如学习率、批量大小，以优化性能。

10. 模型部署：最终模型可部署用于实际应用。

机器学习和深度学习有的联系与区别

监督学习和无监督学习是机器学习的两种主要类型

• 监督学习：

  • 监督学习是一种机器学习方法，其中使用标记数据训练模型。
  • 在监督学习中，模型需要找到映射函数来映射输入变量和输出变量。
  • 监督学习需要监督来训练模型，这类似于学生在老师面前学习东西。
  • 监督学习可用于两类问题：分类和回归。

• 无监督学习：

  • 无监督学习也称为无监督机器学习，它使用机器学习算法来分析未标记的数据集并进行聚类。
  • 这些算法无需人工干预，即可发现隐藏的模式或数据分组。
  • 这种方法能够发现信息的相似性和差异性，因而是探索性数据分析、交叉销售策略、客户细分和图像识别的理想解决方案。
  • 常见的无监督学习方法无监督学习模型用于执行三大任务：聚类、关联和降维。

• sklearn
  • sklearn，全称scikit-learn，是python中的机器学习库，建立在numpy、scipy、matplotlib等数据科学包的基础之上，支持机器学习中包括分类，回归，降维和聚类四大机器学习算法。还包括了特征提取，数据处理和模型评估三大模块。
  • 与深度学习库存在pytorch、TensorFlow等多种框架可选不同，sklearn是python中传统机器学习的首选库。

https://scikit-learn.org  

• 数据预处理 Preprocessing
  • 数据预处理，是指数据的特征提取和归一化，是机器学习过程中的第一个也是最重要的一个环节。
  • 归一化是指将输入数据转换为具有零均值和单位权方差的新变量，但因为大多数时候都做不到精确等于零，因此会设置一个可接受的范围，一般都要求落在0-1之间。
  • 特征提取是指将文本或图像数据转换为可用于机器学习的数字变量。
  • 需要特别注意的是，这里的特征提取与数据降维中提到的特征选择非常不同。特征选择是指通过去除不变、协变或其他统计上不重要的特征量来改进机器学习的一种方法。

• 数据降维 Dimensionality reduction
  • 数据降维，是指使用主成分分析（PCA）、非负矩阵分解（NMF）或特征选择等降维技术来减少要考虑的随机变量的个数，其主要应用场景包括可视化处理和效率提升。

• 模型选择 Model selection
  • 模型选择，是指对于给定参数和模型的比较、验证和选择，其主要目的是通过参数调整来提升精度。目前scikit-learn实现的模块包括：格点搜索，交叉验证和各种针对预测误差评估的度量函数。

• 分类 Classification
  • 分类算法，是指识别给定对象的所属类别，属于监督学习的范畴，最常见的应用场景包括垃圾邮件检测和图像识别等。
  • 目前scikit-learn已经实现的算法包括：支持向量机（SVM），最近邻，逻辑回归，随机森林，决策树以及多层感知器（MLP）神经网络等等。
  • 需要指出的是，由于scikit-learn本身不支持深度学习，也不支持GPU加速，因此这里对于MLP的实现并不适合于处理大规模问题。

• 回归 Regression
  • 回归算法，是指预测与给定对象相关联的连续值属性，最常见的应用场景包括预测药物反应和预测股票价格的无监督学习的方法。
  • 目前scikit-learn已经实现的算法包括：支持向量回归（SVR），脊回归，Lasso回归，弹性网络（Elastic Net），最小角回归（LARS ），贝叶斯回归，以及各种不同的鲁棒回归算法等。

• 聚类 Clustering
  • 聚类算法，是指自动识别具有相似属性的给定对象，并将其分组为集合，属于无监督学习的范畴，最常见的应用场景包括顾客细分和试验结果分组。
  • 目前scikit-learn已经实现的算法包括：K-均值聚类，谱聚类，均值偏移，分层聚类，DBSCAN聚类等。

scikit-learn的传统线性回归(最小二乘法)：

linear_model.LinearRegression

以一个简单的房屋价格预测作为例子来解释线性回归的基本要素。

目标是预测一栋房子的售出价格（元）。

这个价格取决于很多因素，如房屋状况、地段、市场行情等。

为了简单起见，假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。

接下来我们希望探索价格与这两个因素的具体关系。

设房屋的面积为 ，房龄为 ，售出价格为 。我们需要建立基于输入 和 来计算输出 的表达式，也就是模型（model）。顾名思义，线性回归假设输出与各个输入之间是线性关系：

其中 是预测值。

其中 和 是权重（weight）， 是偏差（bias），且均为标量。它们是线性回归模型的参数（parameter）。是预测值，和是两个特征，和是相应的权重（系数），是截距项。

目标变量（因变量）：（代表数据点的索引）
特征变量（自变量）：和（两个特征，代表数据点的索引）
预测模型：
残差项（误差项）：
假设残差项服从正态分布：

使用最小二乘法找到系数、和截距项，使残差平方和最小化。损失函数定义为残差平方和：

为了找到系数的解析解，我们可以对、和的偏导数分别设置为零。

首先，对求偏导数：

对求偏导数：

对 求偏导数：

矩阵形式：需要将关于, , ..., , 的方程表示为矩阵形式，然后使用线性代数的方法求解比较方便：

其中： 是一个 列向量，表示因变量。 是一个 矩阵，表示自变量的设计矩阵。 是一个 列向量，表示回归系数。 是一个 列向量，表示误差项。 表示误差项服从均值为零、方差为 的多元正态分布。特例：系数、和截距项

确定一个 使得 各元素的平方和达到最小：

对求导（, ）：

得到：

由于 ，则得到 是正定矩阵，X 存在逆矩阵， 就有唯一解了：

此时的估计就得到了，如果再把它带回到模型中去就有：

Logistic回归（Logistic Regression，简称LR）是一种常用的处理二类分类问题的模型。在二类分类问题中，把因变量y可能属于的两个类分别称为负类和正类，则因变量y∈{0, 1}，其中0表示负类，1表示正类。

• scikit-learn逻辑回归分析(分类线性模型)

逻辑回归作为分类线性模型实现的，而不是按照 scikit-learn/ML 命名法的回归模型。逻辑回归在文献中也称为 logit 回归、最大熵分类 (MaxEnt) 或对数线性分类器。

在此模型中，使用逻辑函数对描述单个试验的可能结果的概率进行建模。逻辑函数 是一种sigmoid函数，表达式为：

预测值：

逻辑回归的误差函数，也被称为损失函数，是由极大似然估计推导出来的。对于二分类问题，我们可以定义损失函数如下

其中， 是样本数量， 是第 i 个样本的真实标签， 是模型对第 个样本的预测概率。这个损失函数的目标是最小化模型预测概率与真实标签之间的差异。

• 凸函数：逻辑回归的误差函数是处处可微的凸函数，其曲线的谷底对应最小的误差。这意味着我们可以使用梯度下降等优化算法找到其全局最小值。
• 连续且可微：这使得我们可以使用基于梯度的优化算法（如梯度下降）来最小化损失函数。
• 非负：损失函数的值总是大于或等于零，当且仅当模型的预测概率完全等于真实标签时，损失函数的值为零。

• scikit-learn多元回归分析
  • 加载数据：
    • Scikit-learn支持以NumPy的arrays对象、Pandas对象、SciPy的稀疏矩阵及其他可转换为数值型arrays的数据结构作为其输入，前提是数据必须是数值型的。
    • sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一些toy data如S型数据等的生成工具。

# 导入scikit-learn库中的load_iris函数，用于加载鸢尾花数据集
from sklearn.datasets import load_iris

# 使用load_iris函数加载鸢尾花数据集，将数据集存储在变量iris中
iris = load_iris()

# 从iris变量中提取特征数据（鸢尾花的测量数据），并将其存储在变量X中
X = iris.data

# 从iris变量中提取目标数据（鸢尾花的类别标签），并将其存储在变量y中
y = iris.target

load_iris数据集是机器学习领域中经常用于示例和练习的经典数据集之一。这个数据集包含了鸢尾花的特征和类别信息，用于分类问题。 load_iris数据集的详细描述：

数据来源：这个数据集最早由统计学家和生物学家Ronald A. Fisher在1936年收集。它包含了来自三种不同鸢尾花品种（Setosa、Versicolor和Virginica）的样本数据。

特征：每个样本包含四个特征，这些特征是鸢尾花的四个形态特征，包括花萼（sepal）的长度和宽度，以及花瓣（petal）的长度和宽度，都以厘米为单位。因此，每个样本有四个特征。

目标变量：除了特征数据之外，每个样本还有一个对应的目标标签，表示鸢尾花的品种。共有三个类别，分别代表三种不同的鸢尾花。

总样本数：load_iris数据集包含150个样本，其中每种鸢尾花品种各有50个样本。

#view data description and information
print(iris.DESCR)


import pandas as pd
#make sure to save the data frame to a variable
data = pd.DataFrame(iris.data)
data.head()

#note: it is common practice to use underscores between words, and avoid spaces
data.columns = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width']

data.head()

• 数据划分

#  将完整数据集的70%作为训练集，30%作为测试集
#  并使得测试集和训练集中各类别数据的比例与原始数据集比例一致（stratify分层策略）
#  另外可通过设置 shuffle=True 提前打乱数据

from sklearn.model_selection import train_test_split  
X_train, X_test, y_train, y_test =  
train_test_split(X, y, random_state=12, stratify=y,  test_size=0.3)

• 数据预处理

# 导入scikit-learn库中的StandardScaler类，用于特征标准化
from sklearn.preprocessing import StandardScaler

# 创建一个StandardScaler对象，该对象将用于对数据进行特征标准化
scaler = StandardScaler()

# 使用fit_transform方法，对训练数据集 X_train 进行特征标准化的拟合和转换操作
# 特征标准化的目的是将特征数据进行缩放，使其具有零均值和单位方差
# 这有助于提高模型性能，尤其是对于某些机器学习算法，如支持向量机和K均值聚类
# X_train是训练数据集中的特征数据，经过拟合和转换后，标准化后的特征数据将存储在新的变量中
# 通常，这个新的变量不仅会存储标准化后的数据，还会覆盖原始的X_train
scaler.fit_transform(X_train)

• 数据预处理

MinMaxScaler：

• 特征选择

• 监督学习算法-回归

# 导入Scikit-Learn库中的线性回归模型，即 LinearRegression
from sklearn.linear_model import LinearRegression
# 构建LinearRegression 类的实例，命名为 lr。normalize=True 表示在拟合模型时对特征进行标准化。
lr = LinearRegression(normalize=True)
# 训练模型，使用 fit 方法拟合线性回归模型
lr.fit(X_train, y_train)
# 作出预测，使用 predict 方法对测试数据集 X_test 进行预测，将结果存储在 y_pred 变量中。
y_pred = lr.predict(X_test) 

LASSO	linear_model.Lasso # 基于L1正则化的线性回归模型。
Ridge	linear_model.Ridge #  是基于L2正则化的线性回归模型。
ElasticNet	linear_model.ElasticNet # 同时使用L1和L2正则化的线性回归模型。
回归树 tree.DecisionTreeRegressor # 一种非线性回归模型，通过构建树结构来建模数据的关系。

• 监督学习算法-分类

# 导入决策树分类器类
from sklearn.tree import DecisionTreeClassifier

# 创建一个决策树分类器的实例
clf = DecisionTreeClassifier(max_depth=5)
# 这里的 max_depth 是树的最大深度，可以根据问题调整以控制树的复杂性

# 使用训练数据拟合（训练）分类器
clf.fit(X_train, y_train)
# X_train 是训练数据集的特征，y_train 是相应的目标值

# 使用训练好的分类器进行预测
y_pred = clf.predict(X_test)
# X_test 是测试数据集的特征，y_pred 存储了预测的分类标签

# 获取分类的概率估计值
y_prob = clf.predict_proba(X_test)
# X_test 是测试数据集的特征，y_prob 存储了每个类别的概率估计值
# 使用决策树分类算法解决二分类问题， y_prob 为每个样本预测为“0”和“1”类的概率

• 监督学习算法-分类

• 评价指标

  sklearn.metrics模块包含了一系列用于评价模型的评分函数、损失函数以及成对数据的距离度量函数. from sklearn.metrics import accuracy_score accuracy_score(y_true, y_pred). 对于测试集而言，y_test即是y_true，大部分函数都必须包含真实值y_true和预测值y_pred.

  • 回归模型评价
    metrics.mean_absolute_error() | 平均绝对误差MAE
    metrics.mean_squared_error() | 均方误差MSE
    metrics.r2_score() | 决定系数R2.

  • 分类模型评价
    metrics.accuracy_score() | 正确率 metrics.precision_score() | 各类精确率 metrics.f1_score() | F1 值
    metrics.log_loss() | 对数损失或交叉熵损失 metrics.confusion_matrix | 混淆矩阵
    metrics.classification_report | 含多种评价的分类报告

使用 AdaBoost 的决策树回归

1. 准备具有正弦关系和一些高斯噪声的虚拟数据:

# Author: Noel Dawe <noel.dawe@gmail.com>
#
# License: BSD 3 clause

import numpy as np

rng = np.random.RandomState(1)
X = np.linspace(0, 6, 100)[:, np.newaxis]
y = np.sin(X).ravel() + np.sin(6 * X).ravel() + rng.normal(0, 0.1, X.shape[0])

使用 AdaBoost 的决策树回归:
2. 使用决策树和 AdaBoost 回归器进行训练和预测

# 现在，我们定义分类器并将它们拟合到数据中。 
# 然后，我们根据相同的数据进行预测，看看它们能很好地拟合它。
# 第一个回归量是 with. 第二个回归器是一个具有 of 作为基本学习器，
# 并将使用这些基本学习器构建。
# DecisionTreeRegressormax_depth
# =4AdaBoostRegressorDecisionTreeRegressormax_depth=4n_estimators=300
from sklearn.ensemble import AdaBoostRegressor
from sklearn.tree import DecisionTreeRegressor

regr_1 = DecisionTreeRegressor(max_depth=4)
regr_2 = AdaBoostRegressor(
    DecisionTreeRegressor(max_depth=4), n_estimators=300, random_state=rng
)

regr_1.fit(X, y)
regr_2.fit(X, y)

y_1 = regr_1.predict(X)
y_2 = regr_2.predict(X)

使用 AdaBoost 的决策树回归
3. 拟合数据:

import matplotlib.pyplot as plt
import seaborn as sns

colors = sns.color_palette("colorblind")

plt.figure()
plt.scatter(X, y, color=colors[0], label="training samples")
plt.plot(X, y_1, color=colors[1], label="n_estimators=1", linewidth=2)
plt.plot(X, y_2, color=colors[2], label="n_estimators=300", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Boosted Decision Tree Regression")
plt.legend()
plt.show()

• scikit-learn支持向量机