Apple、デバイス上で動作するオープンソース AI モデルをリリース

Apple は本日、クラウド サーバー経由ではなくオンデバイスで実行するように設計されたオープンソースの大規模言語モデル (LLM) をいくつかリリースしました。 OpenELM (オープンソースの効率的言語モデル) と呼ばれる LLM は、AI コードを共有するコミュニティである Hugging Face Hub で入手できます。

ホワイト ペーパー [ PDF ] で概要が説明されているように、OpenELM モデルは合計 8 つあり、そのうち 4 つは CoreNet ライブラリを使用して事前トレーニングされ、4 つは命令調整されたモデルです。 Apple は、精度と効率の向上を目的としたレイヤーごとのスケーリング戦略を採用しています。

Apple は最終的なトレーニング済みモデルだけでなく、コード、トレーニング ログ、複数のバージョンを提供しており、このプロジェクトの背後にいる研究者らは、これが自然言語 AI 分野のより迅速な進歩と「より信頼できる結果」につながることを期待しています。

OpenELM、最先端のオープン言語モデル。 OpenELM は、レイヤーごとのスケーリング戦略を使用して、トランスフォーマー モデルの各レイヤー内でパラメーターを効率的に割り当て、精度の向上につながります。たとえば、パラメータ バジェットが約 10 億個の場合、OpenELM は OLMo と比較して精度が 2.36% 向上し、必要な事前トレーニング トークンの量が 2 倍少なくなります。

モデルの重みと推論コードを提供し、プライベート データセットで事前トレーニングするだけだった従来の実践とは異なり、私たちのリリースには、トレーニング ログ、複数のチェックポイント、事前トレーニングなど、公開されているデータセットで言語モデルをトレーニングおよび評価するための完全なフレームワークが含まれています。トレーニング構成。

Apple は、最先端の言語モデルで「オープンな研究コミュニティに力を与え、豊かにする」ために OpenELM モデルをリリースすると述べています。オープンソース モデルを共有することで、研究者はリスクとデータを調査し、バイアスをモデル化することができます。開発者や企業はモデルをそのまま使用することも、変更を加えることもできます。

情報のオープンな共有は、Apple がトップのエンジニア、科学者、専門家を採用するための重要なツールとなっています。これは、Apple の秘密主義政策の下では通常出版することができなかった研究論文の機会を提供するためです。

Apple はまだこの種の AI 機能を自社のデバイスに導入していませんが、 iOS 18 に は多くの新しい AI 機能が含まれる予定であり、Apple がプライバシー保護の目的で大規模な言語モデルをデバイス上で実行することを計画しているという噂もあります。