AIプロジェクトのマネジメントを成功させるための5つのポイント

AI開発のプロジェクトを進める際、どのように進行するかを正確に予測することは不可能です。例えば、モデルの性能が十分に発揮されないなどの予期せぬ問題が発生する可能性があります。その原因としては、データセットに十分なデータが含まれていないことや、モデルのアーキテクチャが適切ではなく、十分に一般化できないことなどが考えられます。また、テストの結果、99%の精度があるにもかかわらず、残りの1%のケースでは予測が大失敗することが判明するかもしれません。

このように予測不可能な状況で、AI開発プロジェクトを最も効果的に管理するにはどうすればよいのでしょうか。業界標準のベストプラクティスはありませんが、⻑年の経験や多くの業界関係者との議論を通じて得られた見解をいくつか紹介します。

プロジェクトライフサイクルにおけるすべての段階を最初から定義すること。これには、スコーピング、データ取得、モデリング、デプロイメントが含まれます。これにより、最終的な実装に至るまでのプロジェクト全体に十分な時間をかけることができます。多くのプロジェクトでは、有望な結果が得られる迅速なPOCを開始したものの、本番に耐えうる堅牢性を実現するために必要な作業の規模が明らかになると、リソース不足のためにキャンセルされてしまうことがあります。

データラベリングには思った以上に予算が必要であること。手軽なプロトタイプは、インターネットで入手できる既製のデータセットを使って開発できますし、エンジニアがすぐに作成することもできます。しかし、現場でしっかりとしたROIを実現するためには、何桁ものデータでモデルを学習させる必要があります。そのためには、人力でデータを収集し、ラベル付けする必要があるでしょう。

最初からテスト用のパイプラインを用意すること。これはどちらかというとエンジニアリング上のヒントですが、計画を立てる際にも考慮すべきです。機械学習モデルは脆く、バグが発生して微妙に状況が変わることがあります(モデルはまだ学習しますが、精度は低くなります)。継続的なテストパイプラインは、コードと学習レベルの両方で、不具合をより早くキャッチするのに役立ちます。

作業の90%はデプロイ後に起こります。デプロイ後もモデルが活動していることを忘れないでください。常に監視し、データを取得し、再分類し、再トレーニングする必要があるでしょう。

プロトタイプから積み上げていくこと。最初からすべての問題に取り組むのではなく、最小実行可能な目標に分解します。一番下にぶら下がっている果実のモデルを開発し、そこから積み上げていきます。経営陣に結果を示すのがより簡単で早くなるだけでなく、誤った仮定を早期に発見して修正するのに役立ちます。