電力グリッドに接続され、広範なAIツールを備えたクラウドGPUサーバーとは異なり、イヤホンなどのエッジ・デバイスは、バッテリ駆動で動作するように設計された超高効率のプロセッサに依存しています。また、こうしたデバイスはメモリ容量も限られているため、モデルを小型化する必要があります。そして、課題はそれだけにとどまりません。優れたエッジVADモデルは、同じタスクを対象とするほとんどの研究モデルが無視できる4つの厳しい制約条件の下でも機能しなければなりません。

1. このモデルは、チップに内蔵されたオーディオ前処理機能を利用する必要があります。AIを実行する前に、生のオーディオ信号を使用可能な形式に変換する必要があります。エッジ以外のモデルでは、代わりに独自のオーディオ表現を計算することが多く、これによりオーバーヘッドが発生し、デバイスの他のオーディオ・パイプラインとの互換性が損なわれることがあります。ほとんどのエッジ・チップには、これを行うための専用ハードウェア、つまり組込みのショートカットが備わっており、モデル設計者はこれに適応する必要があります。
2. そのチップがサポートしている演算機能しか使用できません。前処理だけでなく、モデルの内部処理も、低消費電力のハードウェア上で効率的に実行されなければなりません。汎用モデルは、組込みプロセッサでは処理が困難であったり、まったく実行できない特殊な演算に依存していることがよくあります。
3. 判断は迅速に下す必要があります。ほとんどのモデルは、誰かが話しているかどうかを判断するまでに、0.5秒以上の音声を聴く必要があります。瞬時の反応が求められるデバイスとしては、これはかなりの遅延です。
4. モデルは現実世界の条件下でも正確である必要があります。モデルのベンチマークを行う際、現実世界でのデプロイメントが好ましいデータセットとなることはめったにありません。エッジモデルには低遅延が求められるため、過去のデータを分類する際に、将来（最初の音声の後にサンプリングされた）の音声を利用することはできません。

チームは、大規模なモデルから始めて後で縮小するのではなく、組込み推論に特化してkiloVADを構築しました。

このモデルは、一般的なマイクロコントローラの機能に基づいて構築されています。完全畳み込みニューラル・ネットワーク（CNN）のアーキテクチャを採用しています。リカレント層、カスタムのデジタル信号処理（DSP）コード、および特殊な活性化関数は使用していません。CNNは、固定された演算を使用し、並列処理で効率的に実行できる上、組込みAIランタイムによるサポートも充実しているため、リカレント・ニューラル・ネットワーク（RNN）に比べて多くの場合エッジ・デバイスへの展開が容易になります。また、このモデルは、人間の聴覚に着想を得た固定の周波数表現であるメル・スペクトログラムを採用しており、組込みシステムで広くサポートされています。

これにより、ハードウェア・プラットフォーム間の移植性が確保され、一般的な組込みMLワークフローとの互換性も維持されます。このシンプルさは、強力な圧縮が必要な場合、大きな利点となります。

この論文の重要な発見の一つは、オーディオのコンテキストが大きくなるにつれてVADの性能が急速に向上するが、それはある点までにとどまるという点にあります。

研究者らは、60msから360msの範囲の入力ウィンドウ（オーディオ・サンプル）を評価した結果、性能は200ms前後でほぼ頭打ちになることがわかりました。このサンプルがどれほど短いものかを例えるなら、それはたった一音節を発音するのに十分な時間です。

200msで、kiloVADは、はるかに長いウィンドウとほぼ同等の精度を達成しつつ、応答時間を大幅に短縮しました。これは、1msの遅延でもユーザー体験に影響を与える常時稼働システムにおいて、特に重要です。630msのコンテキストを使用する主要な小型VADモデル数機種と比較して、kiloVADは遅延を約3分の2に短縮しています。

また、研究チームは、音声周波数をメル・ビンにグループ分けした、さまざまなメル・スペクトログラムの解像度についても検討しました。各メル・ビンは、人間が音程の違いを認識する範囲にほぼ一致しています。それらは、メル・ビンの数を減らしても精度が緩やかに低下することを示しました。

この柔軟性により、DSPの性能が異なる組込みプラットフォーム間でのモデルのデプロイメントが容易になります。

しかし、この研究で最も印象的な点は、モデルをどれほど圧縮できるかという点にあります。

kiloVADモデルの全体には、およそ81,000個のパラメータが含まれています。研究チームは、モデルの性能への影響を最小限に抑えつつ、使用頻度の低い要素や重複する要素を削除することで、ニューラル・ネットワークの規模を縮小する、いわゆるモデルのプルーニングを試みました。層ごとに最適化され構造化されたプルーニング戦略を用いることで、研究者らは元のモデルをわずか2,100個のパラメータにまで縮小することに成功し、97.4%の削減を実現しました。

このチームは、すべての層に同じプルーニング率を適用するのではなく、各層ごとに最適なプルーニング比率を個別に模索しました。その後、元のモデルが圧縮版に学習させる自己蒸留を用いて、失われた精度を回復させました。

その結果は驚くべきものでした。大規模な圧縮を行った後も、2.1Kパラメータのモデルは、AVA-Speechベンチマークにおいて、フルモデルの性能と比較して1.3%以内の誤差に収まりました。

圧縮は、その半分に過ぎません。エッジ・デバイスも量子化の恩恵を受けており、これにより浮動小数点演算が、メモリ使用量の少ない低精度の整数演算（INT）に置き換えられます。

INT8（8ビット整数）でのデプロイメントにおいて、kiloVADでは精度の低下はほとんど見られませんでした。しかし、研究者たちはさらに先を目指しました。

彼らのソリューションは、角度を考慮した自己蒸留型の量子化認識トレーニング（QAT）手法でした。この手法は、予測精度のみに焦点を当てるのではなく、学習された特長とクラス表現との間の幾何学的関係を維持するものです。

開発チームは、パラメータ数だけでは導入の容易さを判断できないと主張しています。モデルは、以下の4つの実用的な要件も満たす必要があります。

1. 標準的なオーディオ・フロント・エンドとの互換性－マイクからの信号を、AIモデルが利用可能な信号に変換するオーディオ処理パイプライン
2. 組込みランタイムでサポートされている移植性の高い演算－多くの組込みプロセッサが提供する数学演算のみに依存することで、このモデルをより広く活用しやすくなります。
3. 低遅延 – 処理が速い！
4. 厳密な因果評価 – このモデルは、将来の情報ではなく、その瞬間に利用可能な音声のみを用いて、現実世界で良好に機能します。

著者らによる業界比較において、kiloVADは、これら4つの条件をすべて同時に満たしつつ、競争力のある性能を発揮する唯一のモデルです。完全なモデルは0.862のAUC（曲線下面積－モデルの精度を測る一般的な指標）を達成したのに対し、パラメータ数を2.1Kに削減したバージョンは、わずか200 msのコンテキストのみを使用して0.850のAUCを達成しています。