迭代法的作用

许多复杂的求解问题，都可以转换成方程f(x)=0的求解问题。这一系列的解叫做方程的根。对于非线性方程的求解，在自变量范围内往往有多个解，我们将此变化区域分为多个小的子区间，对每个区间进行分别求解。我们在求解过程中，选取一个近似值或者近似区间，然后运用迭代方法逐步逼近真实解。
方程求根的常用迭代法有：二分法、不动点迭代、牛顿法、弦截法。

牛顿迭代法

牛顿迭代法（Newton’s method）又称为牛顿-拉弗森方法（Newton-Raphson method），它是一种在实数域和复数域上近似求解方程的方法。方法使用函数的泰勒级数的前面几项来寻找方程的根。

参考链接：
用python算微积分及牛顿迭代求解高阶方程

牛顿迭代法基本思想

考察一般形式的函数方程f(x)=0,首先运用校正技术建立迭代公式，设已知它的近似根xk,则自然要求校正值x(k+1)=xk+∆x能更好的满足所给方程,即 f(xk+∆x)≈0，将其左端用线性主部f(xk)+f’(xk)* ∆x代替,而令f(xk)+f’(xk)*∆x=0，这是关于增量∆x的线性方程，据此定出∆x=-f(xk)/f’(xk)，从而关于校正值x(k+1)=xk+∆x有如下计算公式：X(k+1)=xk-f(xk)/f’(xk)

这就是著名的牛顿公式。Newton法的突出优点是速度快，但它有个明显的缺点是每一步迭代需要提供导数值f’(xk),如果函数f(x)比较复杂，致使导数的计算比较困难，那么使用牛顿公式是不方便的。

牛顿迭代法优缺点

通常最高效的方法：牛顿法。它是求解方程f(x)=0的一种重要方法，它的最大优点是方程在单根附近具有较高的收敛速度，且算法逻辑简单。它还可以用于求代数方程的重根、复根。但是由于牛顿法是局部收敛的，它的收敛性依赖于初值x0的选取。并且每一步迭代除了需要计算f(Xk)外，还需要计算f(Xk)的导数，当f(x)比较复杂时（缺点明显），该方法是不方便的。

例题

求方程式：x = exp(-x)在0.5附近的根
即求方程式xexp(x)-1=0在0.5附近的根

约定一个误差，当误差小于某个数值的时候，迭代停止

代码如下：

from sympy import *
x = symbols('x')
x0 = 0.5
x_list = [x0]
i = 0

def f(x):
    f = x * exp(x) - 1
    return f

while True:   
    if diff(f(x),x).subs(x,x0) == 0:
        print('极值点：',x0)
        break
    else:
        x0 = x0 - f(x0)/diff(f(x),x).subs(x,x0)
        x_list.append(x0)
    if len(x_list) > 1:
        i += 1
        error = abs((x_list[-1] - x_list[-2]) / x_list[-1])
        if error < 10 ** (-6):
            print(f'迭代第{
      i}次后，误差小于10^(-6)，误差为{
      error}')
            break
    else:
        pass
print(f'所求方程式的根为{
      x_list[-1]}')

结果：

迭代第4次后，误差小于10^(-6)，误差为2.17717477197250E-10
所求方程式的根为0.567143290409784

迭代至电脑默认为误差为0为止

from sympy import *

x = symbols('x')
x0 = 0.5
x_list = [x0]
i = 0

def f(x):
    f = x * exp(x) - 1
    return f

while True:
    if diff(f(x),x).subs(x,x0) == 0:
        print('极值点：',x0)
        break
    else:
        x0 = x0 - f(x0)/diff(f(x),x).subs(x,x0)
        x_list.append(x0)
    if len(x_list) > 1:
        i += 1
        error = abs((x_list[-1] - x_list[-2]) / x_list[-1])
        if error == 0:
            print(f'迭代第{
      i}次后，误差为0')
            break
    else:
        pass

print(f'所求方程式的根为{
      x_list[-1]}')

结果：

迭代第6次后，误差为0
所求方程式的根为0.567143290409784

画迭代图

代码：

from sympy import *
import matplotlib.pyplot as plt
x = symbols('x')
x0 = 0.5
x_list = [x0]
x_values = []
y_values = []
i = 0

def f(x):
    f = x * exp(x) - 1
    return f

while True:
    if diff(f(x),x).subs(x,x0) == 0:
        print('极值点：',x0)
        break
    else:
        x0 = x0 - f(x0)/diff(f(x),x).subs(x,x0)
        x_list.append(x0)
    if len(x_list) > 1:
        i += 1
        error = abs((x_list[-1] - x_list[-2]) / x_list[-1])
        x_values.append(i)
        y_values.append(error)
        if error == 0:
            print(f'迭代第{
      i}次后，误差为0')
            break
    else:
        pass

print(f'所求方程式的根为{
      x_list[-1]}')

#设置绘图风格
plt.style.use('ggplot')
#处理中文乱码
plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
#坐标轴负号的处理
plt.rcParams['axes.unicode_minus']=False
#横坐标是迭代次数
#纵坐标是误差值
plt.plot(x_values,
         y_values,
         color = 'steelblue', # 折线颜色
         marker = 'o', # 折线图中添加圆点
         markersize = 3, # 点的大小
         )
# 修改x轴和y轴标签
plt.xlabel('迭代次数')
plt.ylabel('误差值')
# 显示图形
plt.show()

结果：

迭代第6次后，误差为0
所求方程式的根为0.567143290409784

带有区间的例题

求方程式：x3 - 0.165x2 + 3.99310**(-4) = 0在（0，0.11）的根

先看看不用迭代法计算的结果

from sympy import *
from sympy.abc import x

def func(x):
    return x**3 - 0.165*x**2 + 3.993*10**(-4)
result = solveset(func(x), x, Interval(0, 0.11))
print(result)

结果：

FiniteSet(0.0623775815137495)

约定一个误差，当误差小于某个数值的时候，迭代停止

代码：

from sympy import *

x = symbols('x')
xl = 0  #区间下限
xu = 0.11  #区间上限
x0 = (xl+xu)/2  #迭代初始值
x_list = [x0]
i = 0

def f(x):
    f = x**3 - 0.165*x**2 + 3.993*10**(-4)
    return f

while True:
    if diff(f(x),x).subs(x,x0) == 0:
        print('极值点：',x0)
        break
    else:
        x0 = x0 - f(x0)/diff(f(x),x).subs(x,x0)
        x_list.append(x0)
    if len(x_list) > 1:
        i += 1
        error = abs((x_list[-1] - x_list[-2]) / x_list[-1])
        if error < 10**(-6):  
            print(f'迭代第{
      i}次后，误差小于10^-6')
            break
    else:
        pass

print(f'所求方程式的根为{
      x_list[-1]}')

结果：

迭代第3次后，误差小于10^-6
所求方程式的根为0.0623775815137494

迭代至电脑默认误差为0

from sympy import *

x = symbols('x')
xl = 0  #区间下限
xu = 0.11  #区间上限
x0 = (xl+xu)/2  #迭代初始值
x_list = [x0]
i = 0

def f(x):
    f = x**3 - 0.165*x**2 + 3.993*10**(-4)
    return f

while True:
    if diff(f(x),x).subs(x,x0) == 0:
        print('极值点：',x0)
        break
    else:
        x0 = x0 - f(x0)/diff(f(x),x).subs(x,x0)
        x_list.append(x0)
    if len(x_list) > 1:
        i += 1
        error = abs((x_list[-1] - x_list[-2]) / x_list[-1])
        if error == 0:
            print(f'迭代第{
      i}次后，误差等于0')
            break
    else:
        pass

print(f'所求方程式的根为{
      x_list[-1]}')

结果：

迭代第5次后，误差等于0
所求方程式的根为0.0623775815137495

画迭代图

代码：

from sympy import *
import matplotlib.pyplot as plt

x = symbols('x')
xl = 0  #区间下限
xu = 0.11  #区间上限
x0 = (xl+xu)/2  #迭代初始值
x_list = [x0]
i = 0

def f(x):
    f = x**3 - 0.165*x**2 + 3.993*10**(-4)
    return f

x_values = []
y_values = []
while True:
    if diff(f(x),x).subs(x,x0) == 0:
        print('极值点：',x0)
        break
    else:
        x0 = x0 - f(x0)/diff(f(x),x).subs(x,x0)
        x_list.append(x0)
    if len(x_list) > 1:
        i += 1
        error = abs((x_list[-1] - x_list[-2]) / x_list[-1])
        x_values.append(i)
        y_values.append(error)
        if error == 0:
            print(f'迭代第{
      i}次后，误差等于0')
            break
    else:
        pass

print(f'所求方程式的根为{
      x_list[-1]}')

#设置绘图风格
plt.style.use('ggplot')
#处理中文乱码
plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
#坐标轴负号的处理
plt.rcParams['axes.unicode_minus']=False
#横坐标是迭代次数
#纵坐标是误差值
plt.plot(x_values,
         y_values,
         color = 'steelblue', # 折线颜色
         marker = 'o', # 折线图中添加圆点
         markersize = 3, # 点的大小
         )
# 修改x轴和y轴标签
plt.xlabel('迭代次数')
plt.ylabel('误差值')
# 显示图形
plt.show()

结果：

迭代第5次后，误差等于0
所求方程式的根为0.0623775815137495

牛顿法求解非线性方程组

牛顿法求解非线性方程组-附Python代码
解非线性方程组的牛顿迭代法(附Python代码)
python 实现（拟）牛顿法解非线性方程组
最优化方法：牛顿迭代法和拟牛顿迭代法

用牛顿迭代求解下面的非线性方程组

import numpy as np

def Fun(x,num):
    # 方程组在这里，三个变量分别是x的三个分量，num是未知数个数，这里是2，f是两个方程组
    i = num
    f = np.zeros((i),dtype=float)
    f[0] = x[0]**3-x[1]**2+1.    #x**3-y**2+1=0
    f[1] = x[0]**2-x[1]-1.    #x**2-y-1=0
    return f

#计算雅可比矩阵的逆矩阵
def dfun(x,num):                         
    df = np.zeros((num,num),dtype=float)
    dx = 0.00001                           
    x1 = np.copy(x)    #x1 = x
    for i in range(0,num):              # 求导数，i是列，j是行
        for j in range(0,num):
            x1 = np.copy(x)
            x1[j] = x1[j]+dx           #x+dx
            df[i,j] = (Fun(x1,num)[i]-Fun(x,num)[i])/dx   #f(x+dx)-f（x）/dx
    df_1 = np.linalg.inv(df)                              #计算逆矩阵
    return df_1

def Newton(x,num):
    x1 = np.copy(x)  #x1 = x   1行num列
    i = 0
    delta = np.copy(x)
    while(np.sum(abs(delta)) > 1.e-8 and i < 100):  #控制循环次数
        x1 = x-np.dot(dfun(x,num),Fun(x,num))  #公式 x_k+1 = x_k - (dF(x_k))^(-1)·F(x_k)
        delta = x1-x     #比较x的变化
        x = x1
        i = i+1
        print(x)
    return x

# 方程未知数的个数
num = 2                     
#初始值
x = np.array((-1,1), dtype=float)
print(x)
a = Newton(x,num)
print(a)

#用sympy求解，检验牛顿迭代的正确性
import sympy
x,y = sympy.symbols('x,y')
print('方程的解：')
print(sympy.solve([x**3-y**2+1, x**2-y-1], [x,y]))

结果：

[-1.  1.]
[-1.14285918  0.28571694]
[-1.03069215  0.04974598]
[-1.00160721  0.00237137]
[-1.00000443e+00  6.30308922e-06]
[-1.00000000e+00  4.38330963e-11]
[-1.00000000e+00  2.44426795e-16]
[-1.00000000e+00  2.44426795e-16]
方程的解：
[(-1, 0), (0, -1), (2, 3)]

牛顿法求解非线性方程组——代码封装1

import numpy as np
import matplotlib.pyplot as plt

#牛顿迭代
class Newton_Iteration():
    def __init__(self,):
        pass

    def Fun(self, x, num):
        # 方程组在这里，三个变量分别是x的三个分量，num是未知数个数，这里是2，f是两个方程组
        i = num
        f = np.zeros((i), dtype=float)
        X1, X2 = x[0], x[1]
        func = [X1 ** 2 + 4 * X2 ** 2 - 1, 4 * X1 ** 4 + X2 ** 2 - 1]
        f[0] = func[0]
        f[1] = func[1]
        return f

    # 计算雅可比矩阵的逆矩阵
    def dfun(self, x, num):
        df = np.zeros((num, num), dtype=float)
        dx = 0.00001
        x1 = np.copy(x)  # x1 = x
        for i in range(0, num):  # 求导数，i是列，j是行
            for j in range(0, num):
                x1 = np.copy(x)
                x1[j] = x1[j] + dx  # x+dx
                df[i, j] = (self.Fun(x1, num)[i] - self.Fun(x, num)[i]) / dx  # f(x+dx)-f（x）/dx
        df_1 = np.linalg.inv(df)  # 计算逆矩阵
        return df_1

    #牛顿迭代
    def Newton(self, x, num):
        x1 = np.copy(x)  # x1 = x   1行num列
        i = 0
        x_values = []
        y_values = []
        delta = np.copy(x)
        while (np.sum(abs(delta)) > 1.e-8 and i < 100):  # 控制循环次数
            x1 = x - np.dot(self.dfun(x, num), self.Fun(x, num))  # 公式 x_k+1 = x_k - (dF(x_k))^(-1)·F(x_k)
            delta = x1 - x  # 比较x的变化
            x_values.append(i)
            y_values.append(delta)
            x = x1
            i = i + 1
            print(x)
        self.Drawing_error(x_values, y_values)
        return x

    def Drawing_error(self,x_values,y_values):
        # 设置绘图风格
        plt.style.use('ggplot')
        # 处理中文乱码
        plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
        # 坐标轴负号的处理
        plt.rcParams['axes.unicode_minus'] = False
        # 横坐标是迭代次数
        # 纵坐标是误差值
        plt.plot(x_values,
                 y_values,
                 color='steelblue',  # 折线颜色
                 marker='o',  # 折线图中添加圆点
                 markersize=3,  # 点的大小
                 )
        # 修改x轴和y轴标签
        plt.xlabel('迭代次数')
        plt.ylabel('误差值')
        # 显示图形
        plt.show()

if __name__ == '__main__':
    # 方程未知数的个数
    num = 2
    # 初始值
    x = np.array((-1, 1), dtype=float)
    # 方程组
    Newton_Iteration = Newton_Iteration()
    a = Newton_Iteration.Newton(x, num)
    print('方程组的解为：',a)

结果：

[-0.80644865  0.54838985]
[-0.70889633  0.38975774]
[-0.68372898  0.36586611]
[-0.68219953  0.36558393]
[-0.68219416  0.36558553]
[-0.68219416  0.36558553]
方程组的解为： [-0.68219416  0.36558553]

牛顿法求解非线性方程组——代码封装2

import numpy as np
import matplotlib.pyplot as plt
from sympy import *

#牛顿迭代
class Newton_Iteration():
    def __init__(self, func, var_list):
        self.func = func
        self.var_list = var_list
        pass

    def Fun(self, x, num):
        # 方程组在这里，三个变量分别是x的三个分量，num是未知数个数，这里是2，f是两个方程组
        i = num
        f = np.zeros((i), dtype=float)
        f[0] = self.func[0].subs([(self.var_list[0],x[0]), (self.var_list[1],x[1])])
        f[1] = self.func[1].subs([(self.var_list[0],x[0]), (self.var_list[1],x[1])])
        return f

    # 计算雅可比矩阵的逆矩阵
    def dfun(self, x, num):
        df = np.zeros((num, num), dtype=float)
        dx = 0.00001
        x1 = np.copy(x)  # x1 = x
        for i in range(0, num):  # 求导数，i是列，j是行
            for j in range(0, num):
                x1 = np.copy(x)
                x1[j] = x1[j] + dx  # x+dx
                df[i, j] = (self.Fun(x1, num)[i] - self.Fun(x, num)[i]) / dx  # f(x+dx)-f（x）/dx
        df_1 = np.linalg.inv(df)  # 计算逆矩阵
        return df_1

    #牛顿迭代
    def Newton(self, x, num):
        x1 = np.copy(x)  # x1 = x   1行num列
        i = 0
        x_values = []
        y_values = []
        delta = np.copy(x)
        while (np.sum(abs(delta)) > 1.e-8 and i < 100):  # 控制循环次数
            x1 = x - np.dot(self.dfun(x, num), self.Fun(x, num))  # 公式 x_k+1 = x_k - (dF(x_k))^(-1)·F(x_k)
            delta = x1 - x  # 比较x的变化
            x_values.append(i)
            y_values.append(delta)
            x = x1
            i = i + 1
            print(x)
        self.Drawing_error(x_values, y_values)
        return x

    def Drawing_error(self,x_values,y_values):
        # 设置绘图风格
        plt.style.use('ggplot')
        # 处理中文乱码
        plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
        # 坐标轴负号的处理
        plt.rcParams['axes.unicode_minus'] = False
        # 横坐标是迭代次数
        # 纵坐标是误差值
        plt.plot(x_values,
                 y_values,
                 color='steelblue',  # 折线颜色
                 marker='o',  # 折线图中添加圆点
                 markersize=3,  # 点的大小
                 )
        # 修改x轴和y轴标签
        plt.xlabel('迭代次数')
        plt.ylabel('误差值')
        # 显示图形
        plt.show()

if __name__ == '__main__':
    # 方程未知数的个数
    num = 2
    # 初始值
    x = np.array((-1, 1), dtype=float)
    X1, X2 = symbols('X1, X2')
    var_list = [X1, X2]
    # 方程组
    func = [X1 ** 2 + 4 * X2 ** 2 - 1, 4 * X1 ** 4 + X2 ** 2 - 1]
    Newton_Iteration = Newton_Iteration(func, var_list)
    a = Newton_Iteration.Newton(x, num)
    print('方程组的解为：',a)

结果：

[-0.80644865  0.54838985]
[-0.70889633  0.38975774]
[-0.68372898  0.36586611]
[-0.68219953  0.36558393]
[-0.68219416  0.36558553]
[-0.68219416  0.36558553]
方程组的解为： [-0.68219416  0.36558553]