見出し画像

【機械学習】GBDTとは何か【初心者向け】

smartscape Blog

GBDTって何？ 何をするためのもの？ どんなことしているの？
と聞かれて回答するのにまごついた場面がありました。
今回は振り返りとしてGBDTとは何かについてまとめました。

また、振り返るきっかけになった「機械学習におけるChatGPTの活用術」の記事も投稿しておりますので是非ご覧ください。
機械学習を行う手段としてGBDTを使っています。

▼該当の記事はこちら！▼

【プロフィール】板倉悠
学生時代は情報工学科に所属し、主に画像生成に関する機械学習に取り組んでいました。
2023年スマートスケープ株式会社に新卒で入社。
使用言語:Python


GBDTって何？

GBDTとは機械学習のアンサンブル学習の一つです。
アンサンブル学習とは、複数の機械学習を組み合わせた機械学習の手法のことを指します。

ではGBDTは何の機械学習の組み合わせで成り立っているかについてですが、以下の3つから成り立っています。

  1. 勾配降下法(Gradient)

  2. ブースティング(Boosting)

  3. 決定木(Decision Tree)

GBDTってどんなことをしているの？

それでは、それぞれの手法について実行の時系列順に説明していきます。

【決定木(Decision Tree)】

決定木とは、条件分岐によって問題を解く機械学習の手法です。
データセットを解析し、最も重要な特徴量を見つけるために質問を行い、その答えに基づいてデータを分割していきます。
これにより、木の枝葉が分岐していくような構造を持つ決定木が形成されます。
各葉は、特定のクラスに属するかが組み込まれています。

決定木のイメージ図

参考：データ化学工学研究室(金子研究室)＠明治大学 理工学部 応用化学科

【ブースティング(Boosting)】

ブースティングとは、分類器の誤差を、新しい分類器が引き継いで誤差を小さくしていく機械学習の手法です。
複数の弱学習器（今回は決定木）を組み合わせて、より強力なモデルを構築します。
一つのモデルを学習させた後に、その誤りに重点を置いて新たなモデルを学習させ、これを繰り返すことで、予測精度が向上します。

ブースティングのイメージ図

参考：機械学習ナビ GBDT(勾配ブースティング木)とは？

【勾配降下法(Gradient)】

勾配降下法は、誤差の最小値を見つけるために、関数の勾配を利用する機械学習の手法です。
関数の勾配を計算して、その逆方向に少しずつ移動していくことで、最小値を見つけます。
この手法により、機械学習モデルのパラメーターを最適化することが可能です。

勾配降下法のイメージ図

参考：機械学習ナビ GBDT(勾配ブースティング木)とは？

メリット

【高い予測性能】

GBDTは非常に高い予測性能を持ちます。
先ほど説明した通り、GBDTは弱学習器である決定木を順次追加することで、誤差を減らして予測を行います。
これにより、複雑な非線形関係を学習できるため、高い予測性能が得られると言われています。

【過学習の防止】

GBDTは弱学習器（浅い決定木）を組み合わせることで、過学習に対して比較的耐性があります。
そのため、適切なハイパーパラメータを選択することで、大規模なデータセットや高次元のデータに対してもうまく機能することができます。

デメリット

【学習に時間がかかる】

GBDTは計算コストが高いため、大規模なデータセットや複雑なモデルの学習に時間がかかることがあります。
これは、弱学習器を順次追加していくため、学習に多くの反復が必要になることが原因です。
また、複数の決定木を同時に保持する必要があるため、大量のメモリを必要とすることもあります。

【内部構造が理解しにくい】

GBDTはアンサンブル学習であり、複数の決定木が組み合わさっています。
そのため、モデルの内部構造が理解しにくい場合があります。
特に、深い木が多数組み合わさる場合はモデルの解釈が困難となります。

まとめ

▶GBDTとは何ですか？
機械学習のアンサンブル学習の一つ。勾配降下法、ブースティング、決定木の3つから成り立つ。

▶GBDTのメリット
・高い予測性能を持つ
・過学習に対する耐性がある

▶GBDTのデメリット
・学習の時間がかかる
・内部構造の理解がしにくい

最後に

最後まで読んで頂き誠にありがとうございました。
今回の記事が皆さんの理解や学習にお役立ていただけたら幸いです。
新しいトピックやリクエストがあれば、ぜひコメントを頂けると嬉しく思います。
今後も役立つような技術ブログを公開していけたらと思いますので、フォローしていただけると幸いです。

We’re hiring!

スマートスケープでは一緒に働いていただける仲間も募集しています。
「こうなりたい」という思いを持ち、型にはまらず、自らの意思でキャリアを切り開ける仕組みが整っております！
ぜひお気軽に以下のフォームまたはメールアドレスにご連絡ください！

新卒採用エントリーページ

キャリア採用エントリー
キャリア採用で募集している職種についてnoteにまとめました。
以下のリンクよりご覧ください。
スマートスケープで募集中の職種を紹介します！

またご質問等あればお気軽に下記へ連絡ください。
ss-career-recruit@smart-group.co.jp

Products

スマートスケープ株式会社
https://www.smartscape.co.jp/

公式YouTubeチャンネル
https://www.youtube.com/channel/UCwTR1tYBjbwNqpiwy2SVocg/featured

SS4M - AIを活用した3D類似形状検索ツール
https://www.3dpdf.jp/ss4m/
無料体験版お申し込みはこちら

QUANTO - 調達/購買業務を効率化するクラウドサービス
https://www.smartscape.co.jp/service/quanto/
無料プランお申し込みはこちら

SmartExchange - 3D CADデータを3D PDF／3D HTMLに自動変換するソフトウェア
https://www.3dpdf.jp/製品情報/smartexchange/