事件はGPUで起きているんじゃない　メモリで起きているんだ

GPUには広帯域メモリ（HBM）が必要になり、SKハイニクスとサムスンがシェア争いをしている。少し後ろからマイクロンが追いかけているが、徐々にその差を縮めている。3社がしのぎを削って開発競争している状況が面白い。

なんで北米に対してアジアがそんな突出して電力消費多いんや？そもそもアジアで括れるようなもんなんだろうか

“GPUは確かに全体の30％を占めているが、DRAMへのアクセスはそれより大きい48％の電力”

根本的な解決策としてCompute in memoryの研究も進められてるけど、この記事の実装の方がまだ現実味がある気がする

「ザ・ゴール」を読んだ人はみんなボトルネックが移動することを知っている。

と言うか、電力だよね。余った太陽光を使う時が来たな！

遅くてもいいのでGPUのメモリを128くらいにしてほしい。8や12じゃAIで使うには足りない

キャッシュや仮想メモリといった物理制約あるから工夫で解決でなく、とにかくバス幅広く高速なメモリで殴るってなってるのは、なんだかなとは思ってる

「文● 大谷イビサ　編集●ASCII」→ 大谷イビサ - Google 検索 https://www.google.com/search?q=%E5%A4%A7%E8%B0%B7%E3%82%A4%E3%83%93%E3%82%B5　事件は会議室で起きているんじゃない - YouTube https://www.youtube.com/watch?v=qNWqQ3eVyns

かっこいい

「DRAMの読み書きは10％程度だが、GPUとDRAM間のデータ伝送で19％、DRAM内のデータ移動で19％の電力を消費している。」

世界人口の6割がアジアに住んでるのだからこのグラフでも少ないわな。その内、データセンターの使う電力は 3%~5%~8%と増える予想。

土俵でしょう

内容はほとんど読んでないけどIntelのイベントでAppleのM1を宣伝してきたみたいに聞こえる話

ddr6を封鎖せよ

少し前にやった仕事で数MB程度のデータのレイアウト変換処理を「データ読み取り位置を変えるラッパー」を噛ます事で中間バッファ不要に改造したら爆速になった思い出。

“NVIDIAのH200とH100を比べると、GPUは同じだが、メモリの帯域幅を1.7倍に拡張した結果、推論性能は1.6倍も改善” Apple Silicon が速いのもこれなんだろうなあ。RAM交換できなくなるのは嫌だけど速度を稼ぐには必要か……

でも、GPUの中にあるVRAMかなとも…

人類は常にI/Oと戦っているんだなあ

立体シリコンが進化してゆく…

いいえ電源でした

富岳もCPUダイ直結のHBMで2.5Dパッケージだけど、当時でも1コアあたりのメモリ容量が小さくてネックになりそうだったからね。HBMは配線数で帯域をカバーしてるけど積み上げられる量には限界がある

“GPUは確かに全体の30％を占めているが、DRAMへのアクセスはそれより大きい48％の電力”

“GPUサーバーの電力の内訳を見ると、GPUは確かに全体の30％を占めているが、DRAMへのアクセスはそれより大きい48％の電力を消費している。”

異なるモジュール間VIAとそもそもメモリ層のボンディングどうすんの感はあるけど3Dの先が見えてないのは事実なので(ULVしか使われそうにない)天才達に頑張ってもらいたく。

“（メモリ）チップを立てたらいいのでは” コロンブスの卵的な

マイクロンの株買うか〜

半導体にメモリは必須だからな

今の人たちこのネタ（タイトル）わかるんかな笑

根本的な解決策としてCompute in memoryの研究も進められてるけど、この記事の実装の方がまだ現実味がある気がする

なんで北米に対してアジアがそんな突出して電力消費多いんや？そもそもアジアで括れるようなもんなんだろうか

GoogleのColab使っててもハイスペックなGPU取れなくて代わりにハイメモリ(※VRAMではない)設定にしていたらそっちのほうがむしろ安定するってことあるな

タイトルいいかんじ

GPUには広帯域メモリ（HBM）が必要になり、SKハイニクスとサムスンがシェア争いをしている。少し後ろからマイクロンが追いかけているが、徐々にその差を縮めている。3社がしのぎを削って開発競争している状況が面白い。