統計・機械学習 予測を確率分布として与えるガウス過程回帰ー分散の値から予測のばらつき具合も評価可能！ー【Pythonプログラム付】
ガウス過程回帰 (Gaussian Process Regression)は，予測が確率分布（ガウス分布）で与えられ，分散の値から予測のばらつき具合も評価することができます。背景にあるガウス過程は様々な分野で研究されており，クリギングやカル...
回帰分析
統計・機械学習 
統計・機械学習 非常に強力な決定木のアンサンブル法ーランダムフォレストと勾配ブースティング決定木ー【Pythonプログラム付】
決定木は直感的にわかりやすい学習手法ですが，汎化性能が低い（バリアンスが高い）という欠点があります。そのため，複数の決定木を組み合わせて学習を行うアンサンブル学習が一般に用いられます。特に XGBoost や LightGBM は Kagg...
統計・機械学習 決定木ー視覚的にわかりやすい分類・回帰手法！ー【Pythonプログラム付】
機械学習の回帰・分類手法の中でも，非専門家でも直感的にわかりやすい分類・回帰手法が決定木です。本記事では，CART(Classification and Regression Tree)と呼ばれる決定木のアルゴリズムについて解説します。
...
統計・機械学習 サポートベクター回帰（Support Vector Regression）ー数千のデータセットに対して最強の非線形回帰分析！ー【Pythonプログラム付】
ビッグデータを活用した Deep Learning が現在すさまじい発展を遂げていますが，以前まではサポートベクターマシン（Support Vector Machine）が主流でした。
工学分野ではデータの入手コストが高いことも多く，...
統計・機械学習 リッジ回帰（Ridge Reression）とLASSOー過学習を抑制する正則化最小二乗法ー【Pythonプログラム付】
統計や機械学習において最も基本的な回帰分析手法は（通常）最小二乗法（OLS：Ordinary Least Squares）です。
しかし，データの量や性質によっては回帰係数がデータに過度に適合する過学習が生じる可能性があり，回帰曲線の...
統計・機械学習 逐次最小二乗法（RLS: Recursive Least Squares）ーパラメータ同定に用いられる時系列データの回帰手法！ー
制御関連の業務では時系列のデータを主に扱い，時系列データから各種パラメータを同定したい場面は数多く存在します。パラメータ同定のための最も簡単な手法は，通常最小二乗法（OLS：Ordinary Least Squares）です。
しかし...
統計・機械学習 最小二乗法を用いた回帰分析ー②重回帰分析と非線形回帰分析ー【Pythonプログラム付】
統計や機械学習において最も基本的な回帰分析手法は（通常）最小二乗法（OLS：Ordinary Least Squares）です。その中でも説明変数(x)が一つしかない回帰分析を単回帰分析といいます。
しかし，現実にある様々な事象は複数...
統計・機械学習 最小二乗法を用いた回帰分析ー①線形単回帰分析ー【Pythonプログラム付】
統計や機械学習において最も基本的な回帰分析手法は（通常）最小二乗法（OLS：Ordinary Least Squares）です。その中でも説明変数(x)が一つしかない単回帰分析は，Microsoft Excelの「近似曲線」機能etcで使用...