GitHub Copilotをはじめ、成長著しいCodeiumや、製品化を目指すMagicおよびAugmentなどといった専用ツールベンダーには、共通して解決に取り組む課題がある。
倫理的な問題とリスク管理:コード生成AIツールはその出力の質がトレーニングデータに大きく依存するため、バイアスや公平性、知的財産権侵害、プライバシー侵害などの倫理的な問題やリスクが生じる可能性がある。たとえばトレーニングデータに偏りがある場合、生成されたコードも偏ったものになる可能性がある。また生成AIが著作権で保護されたコードを学習しそれを出力してしまうと、知的財産権侵害になる可能性がある。
説明可能性と信頼性の問題:コード生成AIツールは複雑なニューラルネットワークを基盤としており、その意思決定プロセスがブラックボックス化されているため、生成されたコードの根拠や理由を説明することが難しい場合がある。また同じプロンプトを与えても常に同じコードが出力されるとは限らず、信頼性の問題も存在する。
セキュリティ上の脆弱性:コード生成AIツールは悪意のある攻撃者にとって格好の標的となる可能性がある。たとえば攻撃者はトレーニングデータを改ざんして、悪意のあるコードを生成させたり、システムに侵入したりする可能性がある。
これら課題に対する専用ツールベンダーの解決アプローチは多様であり、これらベンダーに投資が集中する背景ともなっている。また米国に限らず、脆弱性保護に特化したスタートアップも登場した。