こんにちは、AITCの鴨谷です。
私はAITCのコンサルティングチームに所属しており、日々データ分析や機械学習モデルの開発に取り組んでいます。
AITCのチームで参加したKaggleのHome Credit-Credit Risk Model Stabilityコンペ(https://www.kaggle.com/competitions/lmsys-chatbot-arena)についてお話しします。2024年4月から6月にかけて行われたこのコンペで、私たちのチームは81位に入り、銀メダルを獲得しました。
この記事では、そのコンペでの私たちの取り組みや結果について紹介します。
このコンペの目標は、どのクライアントがローンのデフォルトに陥りやすいかを予測することです。
対象データは、各クライアントに関する内部情報および外部情報のCSVデータです。
主催者は、単純な予測精度だけでなく、予測モデルが時間を経ても安定しているかどうかにも重きを置いており、評価にはAUCに加えて、テストセット全体での予測モデルの精度の安定性も考慮するカスタムメトリックが採用されています。
特に、第３項の0.5*std(residuals) が重要であり、各週(WEEK_NUM)ごとのスコアを安定させ、スコアが減点されないようなアプローチを考える必要がありました。