目次
36 関係: 反復法 (数値計算)、対称行列、山登り法、微分、微分可能、信用区間、信頼区間、ネルダー–ミード法、レーベンバーグ・マルカート法、ヘッセ行列、テイラー展開、ベイズ推定、カルーシュ・クーン・タッカー条件、シュプリンガー・サイエンス・アンド・ビジネス・メディア、ジョン・ワイリー・アンド・サンズ、スカラー (数学)、割線法、勾配 (ベクトル解析)、直線探索、DFP法、非線形計画法、行列の定値性、行列の階数、GNU Octave、GNU Scientific Library、Gretl、L-BFGS法、MIT License、R言語、SciPy、極値、準ニュートン法、最尤推定、最急降下法、数理最適化、曲率。
- 最適化アルゴリズムとメソッド
反復法 (数値計算)
反復法(はんぷくほう、iterative method)とは、数値解析分野における手法のうち、反復計算を用いるものの総称。これに対し、有限回の手順で解を得る数値解法は直接法(direct method)と呼ばれる矢部2006、126頁。森正武. 数値解析 第2版.
対称行列
線型代数学における対称行列（たいしょうぎょうれつ、symmetric matrix）は、自身の転置行列と一致するような正方行列を言う。記号で書けば、行列 A は を満たすとき対称であるという。任意の正方行列は対称行列と相似である。 定義により、対称行列の成分は主対角線に関して対称である。即ち、成分に関して行列 は任意の添字 に関して を満たす。例えば、次の 次正方行列 1 & 7 & 3 7 & 4 & -5 3 & -5 & 6 end は対称である。任意の正方対角行列は、その非対角成分が であるから、対称である。同様に、歪対称行列（ なる行列）の各対角成分は、自身と符号を変えたものと等しいから、すべて でなければならない。
見る BFGS法と対称行列
山登り法
山登り法（やまのぼりほう、hill climbing, HC）は、評価関数の極値を探索する探索アルゴリズム。最も代表的な局所探索法として知られている。最良優先探索は過去の解を管理するが、探索対象を現在の解だけに制限したものである。評価関数を使用する探索アルゴリズムとしては最も単純。
見る BFGS法と山登り法
微分
数学におけるの微分係数、微分商またはは、別の量（独立変数）に依存して決まる、ある量（関数の値あるいは従属変数）の変化の度合いを測るものであり、これらを求めることをするという。微分演算の結果である微分係数や導関数も用語の濫用でしばしば微分と呼ばれる。
見る BFGS法と微分
微分可能
微分可能（びぶんかのう）。
見る BFGS法と微分可能
信用区間
信用区間（しんようくかん、）または確信区間（かくしんくかん）とは、ベイズ統計学で母集団の真値が含まれることが、かなり確信できる数値範囲のことである。例えば95%CIとは、この範囲に95%の確率で母集団の値が存在すると、確信できることを意味する。 数学的には、θ の 100(1-α)%信用区間とは、 を満たすような部分集合Ｃ ⊂ Θ である。 伝統的頻度論での真値は点であり、信頼区間は「範囲内に真の値を含む確率」として理解されるが、ベイズ統計学では真値は確率分布し、信用区間は「真の値が存在する確率範囲」として理解される。 等裾事後信用区間の例：赤縦線の外側はそれぞれ2.5% 頻度主義統計学でしばしば間違いであると指摘される、「□□の値が a から b の間に入る確率は○%である」との言い方は、ベイズ統計学においては正しい。
見る BFGS法と信用区間
信頼区間
95%信頼区間の図解。中央が推定値（estimate）。 信頼区間（しんらいくかん、）とは、統計学で母集団の真の値（母平均等）が含まれることが、かなり確信 (confident) できる数値範囲のことである。例えば95%CIとは、信頼区間を計算するために用いた数学的モデルが有意水準α。
見る BFGS法と信頼区間
ネルダー–ミード法
ネルダー–ミード法（ネルダー–ミードほう、Nelder–Mead method）や滑降シンプレックス法（downhill simplex method）やアメーバ法（amoeba method）は、最適化問題のアルゴリズム。導関数は不要。1965年に John A. Nelder と Roger Mead が発表した。
レーベンバーグ・マルカート法
数学および計算科学において、レーベンバーグ・マルカート法（レーベンバーグ・マルカートほう、、LM法、レーベンバーグ・マーカート法）とは、非線形最小二乗問題の解法の一つをいう。特に曲線回帰を最小二乗法により行う場合によく用いられる。LM法はガウス・ニュートン法（GN法）と最急降下法を内挿した手法といえる。GN法よりもロバストであり、初期値が解から大きく外れていた場合でも解けることが多いが、ふるまいの良い関数に対してはGN法よりも収束が遅い傾向を示す。 LM法は、GN法に信頼領域法を適用したものとみることもできる。 1944年、職員により初発表され、1963年にデュポン勤務の統計家、により再発見された。また、Girard, Wynne, Morrison によりそれぞれ独立に再発見されている。
ヘッセ行列
数学におけるヘッセ行列（ヘッセ-ぎょうれつ、Hessian matrix）は、多変数スカラー値関数の二階偏導関数全体が作る正方行列である。実数値関数の極値判定に用いられる。ヘッセ行列は、ジェームス・ジョセフ・シルベスターが、ドイツの数学者ルートヴィヒ・オットー・ヘッセに由来して名づけた。
見る BFGS法とヘッセ行列
テイラー展開
数学においてテイラー級数（テイラーきゅうすう、Taylor series）は、関数のある一点での導関数の値から計算される項の無限和として関数を表したものである。そのような級数を得ることをテイラー展開（テイラーてんかい）という。 テイラー級数の概念はスコットランドの数学者ジェームズ・グレゴリーにより定式化され、フォーマルにはイギリスの数学者ブルック・テイラーによって1715年に導入された。0 を中心としたテイラー級数は、マクローリン級数 (Maclaurin series) とも呼ばれる。これはスコットランドの数学者コリン・マクローリンにちなんでおり、彼は18世紀にテイラー級数のこの特別な場合を積極的に活用した。
見る BFGS法とテイラー展開
ベイズ推定
ベイズ推定（ベイズすいてい、Bayesian inference）とは、ベイズ確率の考え方に基づき、観測事象（観測された事実）から、推定したい事柄（それの起因である原因事象）を、確率的な意味で推論することを指す。 ベイズの定理が基本的な方法論として用いられ、名前の由来となっている。統計学に応用されてベイズ統計学の代表的な方法となっている。 ベイズ推定においては、パラメータ,thetaの点推定を求めることは、ベイズ確率（分布関数）を求めた後に、決められた汎関数：,p(theta)rightarrowhatの値（平均値もしくは中央値など）を派生的に計算することと見なされる。 標語的には、「真値は分布する」、「点推定にはこだわらない」などの考え方に依拠している。
見る BFGS法とベイズ推定
カルーシュ・クーン・タッカー条件
カルーシュ・クーン・タッカー条件（Karush-Kuhn-Tucker condition）あるいはKKT条件とは、非線形計画において一階導関数が満たすべき最適条件を指す。ラグランジュの未定乗数法が等式制約のみを扱うのに対して、KKT条件を用いた解法は不等式制約も扱うことができる。KKT条件に対応する連立方程式は、解析的に閉形式解法が導かれる特殊な場合を除いては直接的には解かない。すでにKKT条件の連立方程式を数値的に解く方法は数多く確立されており、それらを用いて解くのが一般的である。KKT条件は線形計画法における主双対内点法などの解法において、重要な役割を持つ。
シュプリンガー・サイエンス・アンド・ビジネス・メディア
シュプリンガー・サイエンス・アンド・ビジネス・メディア（Springer Science+Business Media, Springer）は、科学（Science）、技術（Technology、工学など）、医学（Medicine）、すなわちSTM関連の書籍、電子書籍、査読済みジャーナルを出版するグローバル企業である。シュプリンガーはまた、"SpringerLink"（「シュプリンガー・リンク」） 、"SpringerProtocols"（「」） 、"SpringerImages"（「シュプリンガー・イメージ」） 、"SpringerMaterials"（「シュプリンガー・マテリアル」） などいくつかの科学データベース・サービスのホスティングも行っている。
見る BFGS法とシュプリンガー・サイエンス・アンド・ビジネス・メディア
ジョン・ワイリー・アンド・サンズ
ジョン・ワイリー・アンド・サンズ（John Wiley & Sons、略称: Wiley、）は、1807年創業の科学、医学、教育などの分野の世界的な学術出版社である。 大学院のための教材、トレーニング教材、百科事典などの印刷、オンライン製品やオンラインサービスのような電子的情報も扱っている。『フォー・ダミーズ』シリーズの出版でも知られている。
スカラー (数学)
線型代数学では、ベクトル空間のベクトルに対比するものとしての実数をスカラー（scalar）と呼び、ベクトルを定数倍して別のベクトルを作り出す演算としてスカラー倍が定義される。より一般に、実数全体に替えて任意の体、例えば複素数全体を用いてベクトル空間を定義することができるが、そのときのベクトル空間のスカラーとはその体の元のことを示すものということになる。 ベクトル空間の上にスカラー積演算（スカラー倍と混同してはいけない）が定義されれば、二つのベクトルを掛けてスカラーを得ることができる。スカラー積を備えたベクトル空間は内積空間と呼ばれる。 四元数の実部（実成分）のことをスカラー部（スカラー成分）とも呼ぶ。
割線法
割線法（かっせんほう）またはセカント法（）とは、求根アルゴリズムの一種である。（割線とは曲線上の2点以上と交わる直線のこと。）。
見る BFGS法と割線法
勾配 (ベクトル解析)
ベクトル解析におけるスカラー場の勾配（こうばい、gradient; グラディエント）は、各点においてそのスカラー場の変化率が最大となる方向への変化率の値を大きさにもつベクトルを対応させるベクトル場である。簡単に言えば、任意の量の空間における変位を、傾きとして表現（例えば図示）することができるが、そこで勾配はこの傾きの向きや傾きのきつさを表している。 ユークリッド空間上の関数の勾配を、別なユークリッド空間に値を持つ写像に対して一般化したものは、ヤコビ行列で与えられる。さらに一般化して、バナッハ空間から別のバナッハ空間への写像の勾配をフレシェ微分を通じて定義することができる。
直線探索
直線探索（ちょくせんたんさく、line search）は、連続最適化問題において、目的関数 f:mathbb R^ntomathbb R の極小値 mathbf^* を求めるための2つの基本的な反復的アプローチのうちの一つである。もう一つの基本的な反復的アプローチの方法は信頼領域である。 直線探索のアプローチでは、最初に目的関数 f の値が小さくなる降下方向を求め、次に、その方向に mathbf をどのくらい動かすかを表すステップサイズを計算する。そのステップサイズを用いて、解を求める方法として、最急降下法、ニュートン法、準ニュートン法など、数多く存在する。ステップサイズは厳密に求める方法と近似的に求める方法がある。
見る BFGS法と直線探索
DFP法
Davidon–Fletcher–Powell法またはDFP法とは、あるセカント方程式を満たす解のうち、現在の推定値に最も近く、曲率条件を満たす解を与える式（DFP公式）を用いる準ニュートン法である。名称はWilliam C. Davidon、Roger Fletcher、Michael JD Powellに因む。セカント法を多次元問題に一般化したものであり、準ニュートン法としては初めての解法だった。この公式によりヘッセ行列を更新すれば、対称性と正定性が保証される。 所与の関数f(x) のテイラー展開は、その勾配(nabla f)、正定値ヘッセ行列B 、を用いて以下のように書ける。 また、勾配自体のテイラー展開（セカント方程式）は以下のように書ける。
見る BFGS法とDFP法
非線形計画法
非線形計画法（ひせんけいけいかくほう、nonlinear programming, NLP）は、制約条件群と未知の実変数群から成る一連の等式と不等式で、制約条件または目的関数の一部が非線形なものについて、目的関数を最小化または最大化するような解を求めるプロセスである。また、非線形計画法の対象となる問題を非線形計画問題と呼ぶ。
見る BFGS法と非線形計画法
行列の定値性
線型代数学における行列の定値性（ていちせい、definiteness）は、その行列に付随する二次形式が一定の符号を持つか否か (二次形式の定値性) と密接な関係を持つ概念だが、付随する二次形式を経ることなくその行列自身の持つ性質によって特徴づけることもできる。 この概念は対称行列およびエルミート行列に対して定義するのが通例であるが、そうではない行列を含むように「定値性」の概念を一般化して適用する文献もある。
見る BFGS法と行列の定値性
行列の階数
線型代数学における行列の階数（かいすう、rank; ランク）は、行列の最も基本的な特性数 (characteristic) の一つで、その行列が表す線型方程式系および線型変換がどのくらい「非退化」であるかを示すものである。行列の階数を定義する方法は同値なものがいくつもある。 例えば、行列 の階数 （あるいは または丸括弧を落として ）は、 の列空間（列ベクトルの張るベクトル空間）の次元に等しく、また の行空間の次元とも等しい。行列の階数は、対応する線型写像の階数である。 行列の階数の概念はジェームス・ジョセフ・シルベスターが考えた。
見る BFGS法と行列の階数
GNU Octave
GNU Octave は、主に数値解析を目的としたプログラミング言語である。コマンドラインインタフェースを提供し、MATLABとほぼ互換性のある数値実験用プログラミング言語として使用できる。 Octaveは、GNUプロジェクトの一つでGNU General Public Licenseの条件の下のフリーソフトウェアである。GNU OctaveとScilabは、MATLABのオープンソース代替品の一つである。OctaveはScilabよりもMATLABとの互換性維持に重点を置いている。
GNU Scientific Library
GNU Scientific Library (GSL) は、C言語で記述された科学技術計算関数のライブラリである。オープンソースであり、GNU General Public Licenseのもとで配布されている。 このプロジェクトは1996年にロスアラモス国立研究所のDr. M. GalassiとDr.
見る BFGS法とGNU Scientific Library
Gretl
gretl （グレーテル）は経済学分野での利用を主に想定したオープンソースの統計解析ソフトウェア・パッケージである。名前の gretl は、「 ''G''nu Regression, Econometrics and Time-series Library 」から来ている。 gretl にはGUI を備えており、 X-12-ARIMA、TRAMO/SEATS、R の各ソフトウェアを合わせて使うことができる。 ソフトウェアとしてはC言語で書かれており、GUIウィジェットのライブラリとして GTKを、プロットするための外部プログラムとして gnuplot を使っている。GUI による操作を補完するために コマンドライン操作もできるようになっている。
見る BFGS法とGretl
L-BFGS法
記憶制限BFGS法（きおくせいげんBFGSほう）またはL-BFGS法（）とは、準ニュートン法に分類される最適化アルゴリズムであり、BFGS法をより小さな記憶容量を用いて近似的に実行する。機械学習におけるパラメーター推定に広く用いられる。L-BFGS法が解く対象は、実数ベクトルの関数の非制約最適化問題である。 元になったBFGS法と同様、L-BFGS法は逆ヘッセ行列の推定値を使用して変数空間を探索するが、BFGS法では逆ヘッセ行列の近似値を密行列（は対象問題の変数の数）として記憶するのに対し、L-BFGS法では少数のベクトルのみを記憶し逆ヘッセ行列の近似値はこれらにより暗黙的に表現される。結果としてメモリ使用量のスケーリングは問題サイズの2乗から1乗ヘ低下するため、多くの変数が関わる最適化問題に特に適する。L-BFGS法では逆ヘッセ行列の代わりに、位置と勾配の過去回の更新の履歴を記憶する（多くの場合とのベクトル積を必要とする操作を暗黙的に実行する。
MIT License
MIT License（エム・アイ・ティー ライセンス）は、マサチューセッツ工科大学を起源とする代表的なソフトウェアライセンスである。X11 LicenseまたはX Licenseと表記されることもある。MIT LicenseはGPLなどとは異なり、コピーレフトではなく、オープンソースであるかないかにかかわらず再利用を認めている。BSDライセンスをベースに作成されたBSDスタイルのライセンスの一つである。MIT Licenseは、数あるライセンスの中で非常に制限の緩いライセンスと言える。 X Window System (X11) などのソフトウェアに適用されている。また、2015年3月には、GitHubで最も使われているオープンソースライセンスはMIT Licenseであるという調査結果も出ている。
R言語
R言語（アールげんご）はオープンソース・フリーソフトウェアの統計解析向けのプログラミング言語及びその開発実行環境である。ファイル名拡張子は.r,.R,.RData,.rds,.rda。 R言語はニュージーランドのオークランド大学のRoss IhakaとRobert Clifford Gentlemanにより作られた。現在ではR Development Core Team によりメンテナンスと拡張がなされている。 R言語のソースコードは主にC言語、FORTRAN、そしてRによって開発された。 なお、R言語の仕様を実装した処理系の呼称名はプロジェクトを支援するフリーソフトウェア財団によれば『GNU R』であるが 、他の実装形態が存在しないために日本語での慣用的呼称に倣って、当記事では、仕様・実装を纏めて適宜にR言語や単にR等と呼ぶ。
見る BFGS法とR言語
SciPy
SciPyは、Python言語から利用するための数学、科学、工学分野のための数値解析ソフトウェア・ライブラリである。自由かつオープンソースであり、Windows・Linux・macOSを含むオペレーティングシステムで動作する。ScientificPythonとは無関係である。
見る BFGS法とSciPy
極値
数学の実解析において、実数値関数の極値（きょくち、extremum）とは、関数の局所的な最小値および局所的な最大値の総称である。関数の極値を求める問題は極値問題と呼ばれる。
見る BFGS法と極値
準ニュートン法
準ニュートン法（じゅんニュートンほう、quasi-Newton method）とは、非線形連立方程式の解、あるいは連続最適化問題の関数の極大・極小解を見つけるためのアルゴリズムである。準ニュートン法はニュートン法を元にしており、非線形連立方程式の解を求めることが基本になるが、最適化問題においては、関数の停留点を見つけるために、関数の勾配。
最尤推定
最尤推定（さいゆうすいてい、maximum likelihood estimationという）や最尤法（さいゆうほう、method of maximum likelihood）とは、統計学において、与えられたデータからそれが従う確率分布の母数を点推定する方法である。 この方法はロナルド・フィッシャーが1912年から1922年にかけて開発した。 観測されたデータからそれを生んだ母集団を説明しようとする際に広く用いられる。生物学では塩基やアミノ酸配列のような分子データの置換に関する確率モデルに基づいて系統樹を作成する際に、一番尤もらしくデータを説明する樹形を選択するための有力な方法としても利用される。機械学習ではニューラルネットワーク（特に生成モデル）を学習する際に最尤推定（負の対数尤度最小化として定式化）が用いられる。
見る BFGS法と最尤推定
最急降下法
最急降下法（さいきゅうこうかほう、gradient descent, steepest descent）は、関数（ポテンシャル面）の傾き（一階微分）のみから、関数の最小値を探索する連続最適化問題の勾配法のアルゴリズムの一つ。勾配法としては最も単純であり、直接・間接にこのアルゴリズムを使用している場合は多い。最急降下法をオンライン学習に改良した物を確率的勾配降下法と呼ぶ。 尚、最急降下法の“最急”とは、最も急な方向に降下することを意味している。すなわち、収束の速さに関して言及しているわけではない（より速いアルゴリズムがあり得る）。
見る BFGS法と最急降下法
数理最適化
数学の計算機科学やオペレーションズリサーチの分野における数理最適化（すうりさいてきか、）または数理計画法（）とは、（ある条件に関して）最もよい元を、利用可能な集合から選択することをいう。 最も簡単な最適化問題には、ある許された集合から入力をシステマティックに選び、函数の値を計算することによるの最大化と最小化がある。最適化理論とその手法の、他の形式への一般化は応用数学の広範な分野をなすものである。より一般に、最適化はある与えられた定義域（あるいは制約の集合）についてある目的函数の「利用可能な最も良い」値を見つけることも含む。そのような目的函数と定義域は多様な異なるタイプのものも含む。
見る BFGS法と数理最適化
曲率
曲率（きょくりつ、）とは、曲線や曲面の曲がり具合を表す量である。 例えば、半径 r の円周の曲率は 1/r であり、曲がり具合がきついほど曲率は大きくなる。この概念はより抽象的な図形である多様体においても用いられる。曲面上の曲線の曲率を最初に研究したのは、ホイヘンスとされ、ニュートンの貢献もさることながら、オイラーは曲率の研究に本格的に取り組んだ。その他モンジュ、ベルヌーイ、ムーニエなども研究した。
見る BFGS法と曲率
参考情報
最適化アルゴリズムとメソッド
- BFGS法
- CMA-ES
- DFP法
- EMアルゴリズム
- IPOPT
- L-BFGS法
- アルファ・ベータ法
- オッズ法
- カーマーカーのアルゴリズム
- ガウス・ニュートン法
- ギロチンカット問題
- シンプレックス法
- ドッグレッグ法
- ニュートン法
- ニュートン＝カントロビッチの定理
- ネルダー–ミード法
- ビンパッキング問題
- フランク・ウルフのアルゴリズム
- フーリエ・モツキンの消去法
- ベイスンホッピング法
- ミニマックス法
- レーベンバーグ・マルカート法
- 二次計画法
- 二次錐計画問題
- 信頼領域
- 内点法
- 分割統治法
- 分枝限定法
- 動的計画法
- 勾配法
- 局所収束性
- 局所探索法
- 最小二乗法
- 最急降下法
- 焼きなまし法
- 直線探索
- 蟻コロニー最適化
- 貪欲法
- 逐次二次計画法
- 逐次最小問題最適化法
- 進化的アルゴリズム
- 進化的プログラミング
- 量子焼きなまし法
- 非線形共役勾配法
- 非線形計画法
- 黄金分割探索