优化算法是一类数学方法，旨在找到一个函数的最小值或最大值，以满足一定的约束或条件。这些算法在众多领域中广泛应用，包括机器学习、数据分析、工程优化和科学研究。

优化算法通常可以分为两大类：局部优化和全局优化。它们的区别在于优化的范围和目标不同：

局部优化：局部优化是指在函数值空间的一个有限区域内寻找最小值或最大值。这意味着算法尝试在一个局部范围内找到最优解，而不考虑整个函数值空间。局部优化更适合处理那些具有单一最优解或者在特定范围内寻找最优解的问题。

全局优化：全局优化是在函数值空间整个区域内寻找最小值或最大值问题。这意味着算法的目标是找到函数的全局最优解，考虑了整个函数值空间。全局优化更适用于那些具有多个潜在最优解或者需要在广泛范围内搜索最优解的问题。

选择使用局部优化还是全局优化取决于问题的性质和要求。如果问题已知具有单一最优解或者搜索范围有限，局部优化可能更有效。而如果问题具有多个潜在最优解或者搜索空间广泛，全局优化则更合适。

不同的优化算法可以用于解决局部和全局优化问题，这些算法的性能和效果因问题而异

局部优化和全局优化的区别：

局部优化和全局优化的区别：

局部优化/全局优化和方程求根的转化：

局部优化/全局优化和方程求根的转化：

局部优化举例：

牛顿法（局部优化算法）的缺陷：
牛顿法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根。其迭代格式为：

牛顿法假设 是对方程 f(x) = 0 的解的一个近似. 如果令 = - f()/f′(). 则在很多情况下, 是个比 更好的近似.

牛顿法（局部优化算法）的缺陷

这些缺陷限制了牛顿法在一些优化问题中的适用性，特别是在全局优化和高维问题中。

全局优化算法是一类用于求解复杂优化问题的算法，其目标是在问题的搜索空间中找到全局最优解，即在给定问题的约束条件下找到能够最小化或最大化目标函数的解。这种类型的算法通常用于处理复杂的非线性、高维、多峰和具有约束条件的优化问题，其中局部搜索方法可能会陷入局部最优解。

全局优化算法的核心思想是在搜索空间中探索不同的解，并尽可能覆盖整个空间，以确保找到全局最优解。这些算法通常包括对候选解的评估和选择策略，以确定哪些解应该被保留或进一步改进。

常见的全局优化算法包括遗传算法、差异进化算法、模拟退火算法、蚁群算法和粒子群优化算法等。这些算法在不同类型的问题上表现出色，并根据问题的性质和约束条件选择合适的算法。全局优化算法在许多领域，如工程优化、机器学习、数据挖掘和科学研究中具有广泛的应用。

遗传算法、差异进化算法、模拟退火算法、粒子群优化算法、蚁群算法的优缺点对比：

模拟退火算法（Simulated Annealing，SA）是一种启发式算法(利用问题拥有的启发信息来引导搜索，达到减少搜索范围、降低问题复杂度的目的)，由S.Kirkpatrick, C.D.Gelatt和M.P.Vecchi在1983年所发明的，V.Čern在1985年也独立发明此演算法。

模拟退火算法用于解决组合优化问题和全局优化问题。模拟退火算法基本思想 爬山法是一种贪婪的方法，对于一个优化问题，其大致图像如右图所示。其目标是要找到函数的最大值，若初始化时，初始点的位置在C处，则会寻找到附近的局部最大值A点处，由于A点出是一个局部最大值点，故对于爬山法来讲，该算法无法跳出局部最大值点。若初始点选择在D处，根据爬山法，则会找到全部最大值点B。这一点也说明了这样基于贪婪的爬山法是否能够取得全局最优解与初始值的选取由很大的关系。

模拟退火算法(Simulated Annealing, SA)的思想借鉴于固体的退火原理，当固体的温度很高的时候，内能比较大，固体的内部粒子处于快速无序运动，当温度慢慢降低的过程中，固体的内能减小，粒子的慢慢趋于有序，最终，当固体处于常温时，内能达到最小，此时，粒子最为稳定。模拟退火算法便是基于这样的原理设计而成。

模拟退火算法从某一较高的温度出发，这个温度称为初始温度，伴随着温度参数的不断下降，算法中的解趋于稳定，但是，可能这样的稳定解是一个局部最优解，此时，模拟退火算法中会以一定的概率跳出这样的局部最优解，以寻找目标函数的全局最优解。如上图中所示，若此时寻找到了A点处的解，模拟退火算法会以一定的概率跳出这个解，如跳到了D点重新寻找，这样在一定程度上增加了寻找到全局最优解的可能性。

模拟退火算法过程: 以一定的概率来接受一个比当前解要差的解，因此有可能会跳出局部的最优解，达到全局的最优解。

根据Metropolis准则，粒子在温度T时趋于平衡的概率为，其中为温度时的内能，为其改变数，为Boltzmann常数。Metropolis准则使用过程:

(1) 随机挑选一个解，计算解的目标函数值; 给一个随机的位移获得随机解，计算解的目标函数值;求出系统因此而产生的能量变化。

(2) 若⩽0，该位移可采纳()，更新后的系统状态可作为下次变化的起点(爬山法思想)； 若>0，位移后的状态可采纳的概率为

式中为温度，然后从(0,1)区间均匀分布的随机数中挑选一个数，若 ，则将变化后的状态作为下次的起点()；否则，将变化前的状态作为下次的起点。

(3) 转第(1)步继续执行，知道达到平衡状态为止。

得到全局最优的条件

(1)初始温度足够高

(2)迭代次数足够大

(3)终止温度足够低

(4)降温过程足够缓慢

停止搜索的条件

(1)达到指定的迭代次数。

(2)达到指定的温度。

(3)找到最优解连续M次迭代都没有变化。

利用模拟退火算法求解如下优化问题：

import numpy as np
import matplotlib.pyplot as plt

def inputfun(x):
    return (x-2)*(x+3)*(x+8)*(x-9)

initT = 1000 #初始温度
minT = 1 #温度下限
iterL = 1000 #每个T值的迭代次数
delta = 0.95 #温度衰减系数
k = 1

initx = 10*(2*np.random.rand()-1)
nowt = initT
print("初始解：",initx)

xx = np.linspace(-10,10,300)
yy = inputfun(xx)
plt.figure()
plt.plot(xx,yy)
plt.plot(initx,inputfun(initx),'o')

#模拟退火算法寻找最小值过程
while nowt>minT:
    for i in np.arange(1,iterL,1):
        funVal = inputfun(initx)
        xnew = initx+(2*np.random.rand()-1)
        if xnew>=-10 and xnew<=10:
            funnew = inputfun(xnew)
            res = funnew-funVal
            if res<0:
                initx = xnew
            else:
                p = np.exp(-(res)/(k*nowt))
                if np.random.rand()<p:
                    initx = xnew
    nowt = nowt * delta

print("最优解：",initx)
print("最优值：",inputfun(initx))
plt.plot(initx,inputfun(initx),'*r')
plt.show()

参数控制
模拟退火算法的应用很广泛，可以求解NP完全问题，但其参数难以控制，其主要问题有以下三点：

(1) 温度T的初始值设置问题

温度T的初始值设置是影响模拟退火算法全局搜索性能的重要因素之一、初始温度高，则搜索到全局最优解的可能性大，但因此要花费大量的计算时间；反之，则可节约计算时间，但全局搜索性能可能受到影响。实际应用过程中，初始温度一般需要依据实验结果进行若干次调整。

(2) 退火速度问题

模拟退火算法的全局搜索性能也与退火速度密切相关。一般来说，同一温度下的“充分”搜索(退火)是相当必要的，但这需要计算时间。实际应用中，要针对具体问题的性质和特征设置合理的退火平衡条件。

(3) 温度管理问题

温度管理问题也是模拟退火算法难以处理的问题之一。实际应用中，由于必须考虑计算复杂度的切实可行性等问题。

模拟退火算法的优缺点

优点

- 能够处理具有任意程度的非线性、不连续性、随机性的目标函数，目标函数可以具有任意边界条件和约束。

- 比起其他的非线性优化算法，模拟退火的编程工作量小，且易于实现，统计上可以保证找到全局最优解。

缺点

- 找到最优解要耗费非常多的时间。

- 参数调整到最适合比较困难。

- 使用不当(如降温过快等)会找到误差很大的结果。

scikit-opt 库的安装方法:

pip install scikit-opt

求以下函数在-1~2之间的全局最小值:

import numpy as np

# 定义目标函数
def aim(x):
    # 这是目标函数，计算给定输入 x 的函数值，这个函数是一个特定的示例
    # 在这个示例中，函数是 (x[0] * sin(10π * x[0]) + 2.0) * (-1)
    return (x * np.sin(10 * np.pi * x) + 2.0) * (1)


# 导入模拟退火（Simulated Annealing）算法库
from sko.SA import SA

# 创建模拟退火算法实例
# - func: 目标函数，这里是定义的 aim 函数
# - x0: 初始解，这里设置为 [0]
# - T_max: 初始温度，这里设置为 1
# - T_min: 最低温度，通常设置为接近零的小数，这里是 1e-9
# - L: 每个温度下的迭代次数，这里设置为 30
# - max_stay_counter: 如果连续 max_stay_counter 次都没有接受更好的解，则算法停止
# - lb: 变量的下界（Lower Bound），这里是 -1
# - ub: 变量的上界（Upper Bound），这里是 2
sa = SA(func=aim, x0=[0], T_max=1, T_min=1e-9, L=30, max_stay_counter=50, lb=[-1], ub=[2])

# 运行模拟退火算法以找到最优解
best_x, best_y = sa.run()

# 输出最优解和最优函数值
print('SA best_x:', best_x)
print('SA best_y:', best_y)

# 导入 Matplotlib 和 Pandas 库
import matplotlib.pyplot as plt
import pandas as pd

# 绘制最优函数值的收敛图
# 使用 Pandas 创建一个 DataFrame 包含每一代的最优函数值，并对其进行累积最小化处理
plt.plot(pd.DataFrame(sa.best_y_history).cummin(axis=0))
plt.show()

在使用scikit-opt库的模拟退火算法时，以下是一些常用的调参技巧：

1. 初始温度 (T_max) 和最低温度 (T_min): 初始温度通常应设置为相对高的值，以允许算法接受较差的解并跳出局部最优解。最低温度通常设置为接近零的小值，以确保算法在最后的迭代中逐渐收敛。
2. 温度调度策略: 选择合适的温度调度策略，如指数衰减或线性衰减。这些策略控制温度如何随时间降低。
   实验不同的温度调度策略以找到适合问题的最佳策略。
3. 迭代次数 (L):设置每个温度下的迭代次数，通常应该足够大以充分搜索当前温度下的解空间。
   可以根据问题的复杂性和计算资源进行调整。
4. 初始解 (x0):初始解可以是随机生成的，但根据问题的性质，也可以选择更智能的初始解。
   初始解的选择可能会影响算法的性能，特别是在处理特定问题时。

遗传算法（Genetic Algorithm，GA）是一种通过模拟自然选择和遗传机制进行问题求解的优化算法。它基于达尔文的进化论和孟德尔的遗传学原理，使用进化的思想来搜索问题的解空间。

算法特点：
(1) 直接对结构对象进行操作，不存在求导和函数连续性的限定；
(2) 具有内在的隐含并行性和更好的全局寻优能力；
(3) 采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则。

遗传算法将“优胜劣汰，适者生存”的生物进化原理引入优化参数形成的编码串群体中，按所选择的适应度函数并通过遗传中的复制、交叉及变异对个体进行筛选，适应度高的个体被保留下来，组成新的群体，新的群体既继承了上一代的信息，又优于上一代。这样周而复始，群体中个体适应度不断提高，直到满足一定的条件。遗传算法的算法简单，可并行处理，并能到全局最优解。

遗传算法是从代表问题可能潜在的解集的一个种群（population）开始的，而一个种群则由经过基因（gene）编码的一定数目的个体(individual)组成。每个个体实际上是染色体(chromosome)带有特征的实体。

染色体作为遗传物质的主要载体，即多个基因的集合，其内部表现（即基因型）是某种基因组合，它决定了个体的形状的外部表现，如黑头发的特征是由染色体中控制这一特征的某种基因组合决定的。因此，在一开始需要实现从表现型到基因型的映射即编码工作。由于仿照基因编码的工作很复杂，我们往往进行简化，如二进制编码。

初代种群产生之后，按照适者生存和优胜劣汰的原理，逐代（generation）演化产生出越来越好的近似解，在每一代，根据问题域中个体的适应度（fitness）大小选择（selection）个体，并借助于自然遗传学的遗传算子（genetic operators）进行组合交叉（crossover）和变异（mutation），产生出代表新的解集的种群。

这个过程将导致种群像自然进化一样的后生代种群比前代更加适应于环境，末代种群中的最优个体经过解码（decoding），可以作为问题近似最优解。

算法示例
求f(x) = 极大值问题，设自变量 x 介于0～31，求其二次函数的最大值，即：max f(x) = , x∈ [0, 31]

import numpy as np

def aim0(x):
    # 这是目标函数，计算给定输入 x 的函数值，这个函数是一个特定的示例
    # 在这个示例中，函数是 (x[0] * sin(10π * x[0]) + 2.0) * (-1)
    return (x * np.sin(10 * np.pi * x) + 2.0) * (1)

# 定义目标函数
def aim(x):
    # 这是目标函数，计算给定输入 x 的函数值，这个函数是一个特定的示例
    # 在这个示例中，函数是 (x[0] * sin(10π * x[0]) + 2.0) * (-1)
    return (x[0] * np.sin(10 * np.pi * x[0]) + 2.0) * (1)

# 导入遗传算法（Genetic Algorithm）库
from sko.GA import GA

# 创建遗传算法实例
# - func: 目标函数，这里是定义的 aim 函数
# - n_dim: 变量的维度，这里是 1
# - size_pop: 种群大小，这里设置为 50
# - max_iter: 最大迭代次数，这里设置为 10
# - prob_mut: 变异概率，这里设置为 0.001
# - lb: 变量的下界（Lower Bound），这里是 -1
# - ub: 变量的上界（Upper Bound），这里是 2
# - precision: 优化精度，这里设置为 1e-7
ga = GA(func=aim, n_dim=1, size_pop=50, max_iter=10, prob_mut=0.001, lb=[-1], ub=[2], precision=1e-7)

# 运行遗传算法以找到最优解
best_x, best_y = ga.run()

# 输出最优解和最优函数值
print('GA best_x:', best_x)
print('GA best_y:', best_y)

# 导入 Matplotlib 和 Pandas 库
import matplotlib.pyplot as plt
import pandas as pd

# 绘制最优解的收敛图
# 使用 Pandas 创建一个 DataFrame 包含每一代的最优解，并对其进行累积最小化处理
plt.plot(pd.DataFrame(ga.all_history_Y).cummin(axis=0))
plt.show()

遗传算法调参技巧:

• scikit-opt库提供的遗传算法有四个主要超参数：种群规模(size_pop)、最大迭代次数(max_iter)、变异概率(prob_mut)和精度(precision)。

1. 最大迭代次数和精度都可以增加，以提高搜索的成熟度，但需要考虑时间开销。

2. 种群规模的设置需要适度，太小的规模可能导致近亲交配和病态基因，而太大的规模则浪费资源且难以收敛。

3. 变异操作的目的是保持多样性，增强局部搜索能力，但变异概率设置过高会使算法变为随机搜索。