Armijo-Schrittweitenregel

Seien β∈(0,1)\beta\in(0,1) und γ∈(0,1)\gamma\in(0,1) fest gewählte Parameter. Zum Beispiel β=12\beta = \frac{1}{2} und γ=10−2\gamma = 10^{-2}.

Bestimme die größte Zahl σk∈{ 1,β,β2,... }\sigma_k\in\set{1,\beta,\beta^2,...} für die gilt:

f(x(k)+σks(k))−f(x(k))≤σkγ∇f(x(k))⊤s(k)f\left(x^{(k)}+\sigma_{k} s^{(k)}\right)-f\left(x^{(k)}\right) \leq \sigma_{k} \gamma \nabla f\left(x^{(k)}\right)^{\top} s^{(k)}

Also implementiert als:
Solange die Bedingung nicht gilt: multipliziere sigma mit beta.