高度な生成AIは動作に相応の機器を必要とするため、一般的なユーザーが高度な生成AIを使うためにはネットに接続して利用するしかありません。一方で、高度なAIをローカルで実行できるような試みが行われ、実際にローカルで動作する高度なAIもいくつか存在します。AIをローカルで動作させることの利点について、科学誌Natureが利用者の声をいくつか紹介しました。 Forget ChatGPT: why researchers now run small AIs on their laptops https://www.nature.com/articles/d415
gigazine.net/news/20240926-researchers-ai-local/
“ChatGPTの有料版を試したが、高価で出力が適切でないと感じたため、80億~700億のパラメータを持つLlamaをローカルで使用している。自分が生成しているものの再現性をコントロールできる”
日本古来のシステムインテグレーションも同じ感覚だなぁ。条件変えたら、テストと納品できないし、延々原因探す旅にでなくてはならないのでなぁ。
研究室秘伝のAI
VRAMに96GBを割り当てられるStrix Haloが合ってそう
未発表の論文や書きかけの小説を読み込ませて推敲させたら、それを学習ソースに使われて流出するリスクかな?と思ったら、意図しない仕様変更に伴うリスクか
ローカルでAIモデルを動作させる方法の1つとして、Mozillaの開発者が提供している「llamafile」というツールを使うものがあります。
“ローカルモデルは変更されないこと”
利点は「ローカルモデルは変更されないこと」やプライバシー。