もうでかいVRAMに高い金を払う必要は無くなるかもしれないのか?超分散LLM推論環境が爆誕 ｜shi3z
世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからである。 しかし、これは我々のようなガチ研究勢の話であって、ビジネスパースン的には「いやあこれからはローカルLLMでセキ
note.com/shi3zblog/n/n2352e01bbd47
コメント一覧
アリエクでマイニングリグ買わないと……。なおゲーミングGPUでマルチGPUは12VHPWRコネクタの数とかPCIeのスロット数とかレーン数とか占有スロット数とかカード長とかいろいろめんどい。楽をしたければNVIDIA RTX。
安価な物を複数台繋げて高性能化を図る、は電力効率を無視してるからなぁ。その天秤かとは思う。
さくらインターネットが68億円で800個買うって言ってたね。850万円/個。 https://www.nikkei.com/article/DGXZQOUF304HZ0Q4A930C2000000/
既にPython+rayで並列処理は実現できるのだけど設定とか面倒で手間がかかるのがなあ。結局やめてしまって1PCにGPUx3構成になったわ。フル稼働時は100Vコンセントの限界に近い。
.to()がないのはmainブランチでも直ってないな。3GBx8で70Bをフル精度推論できるのは確かにすごい｜なんか頓珍漢なコメ多すぎんか
それでもVRAMを後から簡単に増設できる方がいいよ。そういうのが出てきてほしい。推論じゃなくてトレーニングだよ
"仕方ないので自分で修正することにしたところ、どうにかGPUで動くは動いた"しれっと言ってるけど流石やなぁ。
暖房がはかどりそう 遊ぶだけなら5万円のGPUでも十分遊べるんだけど、研究するならそら足らんわな
SETI@homeみたいなのがそのうち…と思ってたがまた一歩近づいてきてる。実用レベルには遠いかもだが。
流石清水さんは最先端の情報捉えてるな。まあ、私は応用する立場だから、清水さんや諸先輩が確立した道を辿ればいいのだけど…
.to()がないのはmainブランチでも直ってないな。3GBx8で70Bをフル精度推論できるのは確かにすごい｜なんか頓珍漢なコメ多すぎんか
さくらインターネットが68億円で800個買うって言ってたね。850万円/個。 https://www.nikkei.com/article/DGXZQOUF304HZ0Q4A930C2000000/
何十台も並列計算させるのは電気代的にナンセンス
GPUそのものより、GPU直結メモリがどれくらいデカいか、の方が重要よね そっちどうにかしたいもんだけどなあ
コンシューマ向けがさらに枯渇しそうなんじゃがこれ
5070は24GBモデルが出て欲しい。MacのM2 MaxのLPDDR5-8ch(512bit幅)でも400GB/sec、GeForce RTX 4090のGDDR6X-384bit幅なら1000GB/secオーバーで帯域が違いすぎる
“TPI-LLMという。これは、複数のノードに跨って推論を実行できる。3GBのマシンを8台繋げて70Bのフル推論ができるらしい。”
RTX 4060 Ti 16Gを4枚刺ししたGPU BOXとか作ってくれはるかんじ？
将来を考えても分散推論は必要不可欠
DRAM並列化でこれ以上は速く出来ない限界が来てそれを打破したのがHBM。遅くても良いなら好きなだけ並列化すれば良いしGPUだって遅くて良いなら高級品じゃないGPUを好きなだけ並列化すれば良い。でもそうじゃないよね？
またゲーマー泣かせな技術が……
既にPython+rayで並列処理は実現できるのだけど設定とか面倒で手間がかかるのがなあ。結局やめてしまって1PCにGPUx3構成になったわ。フル稼働時は100Vコンセントの限界に近い。
アリエクでマイニングリグ買わないと……。なおゲーミングGPUでマルチGPUは12VHPWRコネクタの数とかPCIeのスロット数とかレーン数とか占有スロット数とかカード長とかいろいろめんどい。楽をしたければNVIDIA RTX。
安価な物を複数台繋げて高性能化を図る、は電力効率を無視してるからなぁ。その天秤かとは思う。
ちゃんとプルリク投げたのかな？
GPU高くなりすぎて新調しにくい……
また一般用のGPUに回らなくなるじゃん…（マイニングのときと一緒）
単一な高性能製品は等比級数的に高価になるので『安価なものを束ねて等差級数的価格で高性能』がギークの夢。HDDはRAIDになり、スパコンはベクトルプロセッサやRISCからXeonなんかに。そしてVRAMは
やっぱりケタが違う話になりつつあるな。
ラズパイでやるか(笑)
2024-10-22 22:45:27
2024-10-22 21:59:55
2024-10-22 22:24:10
また一般用のGPUに回らなくなるじゃん…（マイニングのときと一緒）