<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>PCパーツ on 現役エンジニアのAI事情</title>
    <link>https://www.engineer-labnote.top/categories/pc%E3%83%91%E3%83%BC%E3%83%84/</link>
    <description>Recent content in PCパーツ on 現役エンジニアのAI事情</description>
    <generator>Hugo</generator>
    <language>ja-jp</language>
    <lastBuildDate>Mon, 07 Sep 2026 07:08:40 +0900</lastBuildDate>
    <atom:link href="https://www.engineer-labnote.top/categories/pc%E3%83%91%E3%83%BC%E3%83%84/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>B580×2で20B級モデルの推論速度が最大2.6倍に爆増した検証記録</title>
      <link>https://www.engineer-labnote.top/posts/202609050018-b580-2%E3%81%A720b%E7%B4%9A%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E6%8E%A8%E8%AB%96%E9%80%9F%E5%BA%A6%E3%81%8C%E6%9C%80%E5%A4%A72-6%E5%80%8D%E3%81%AB%E7%88%86%E5%A2%97%E3%81%97%E3%81%9F%E6%A4%9C%E8%A8%BC%E8%A8%98%E9%8C%B2/</link>
      <pubDate>Mon, 07 Sep 2026 07:08:40 +0900</pubDate>
      <guid>https://www.engineer-labnote.top/posts/202609050018-b580-2%E3%81%A720b%E7%B4%9A%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E6%8E%A8%E8%AB%96%E9%80%9F%E5%BA%A6%E3%81%8C%E6%9C%80%E5%A4%A72-6%E5%80%8D%E3%81%AB%E7%88%86%E5%A2%97%E3%81%97%E3%81%9F%E6%A4%9C%E8%A8%BC%E8%A8%98%E9%8C%B2/</guid>
      <description>&lt;img src=&#34;https://i.ibb.co/VpJ21nTV/faf4ab99f931.jpg&#34; alt=&#34;B580×2で20B級モデルの推論速度が最大2.6倍に爆増した検証記録&#34; style=&#34;width:100%;max-width:720px;height:auto;display:block;margin:0 auto;border-radius:8px;&#34; /&gt;
&lt;h2 id=&#34;検証環境非対称なpcie構成からx8x8の対称構成へ&#34;&gt;検証環境：非対称なPCIe構成から「x8+x8」の対称構成へ&lt;/h2&gt;
&lt;p&gt;検証にあたって、まずは使用したハードウェアの構成を整理しておきますね。&lt;/p&gt;
&lt;p&gt;今回のメインは、Intel Arc B580を2枚搭載したマルチGPU環境です。メモリは64GBを用意しました。これまでの構成は、マザーボードの都合で片方のスロットがPCIe 4.0 x16、もう片方がPCIe 3.0 x4という、かなり左右のバランスが偏った状態だったんです。正直、データのやり取りにボトルネックができちゃうよね、っていうのが今回の検証の出発点ですね。&lt;/p&gt;
&lt;p&gt;そこで今回は、x16スロットを分割するライザーカードを活用して、あえて両方のスロットをPCIGB 4.0の「x8 + x8」という、対称的な構成に変更してみました。&lt;/p&gt;
&lt;p&gt;ソフトウェア側は、OllamaとVulkanバックエンドを組み合わせて、2枚のGPUをそれぞれ独立したデバイスとして扱えるようにしています。検証には、単体のVRAM（12GB）には収まらない、Qwen3.8-27B系やGemma4-26B-A4Bといった、2枚に分割してロードすることが必須となるクラスのモデルたちを揃えました。&lt;/p&gt;
&lt;h2 id=&#34;驚愕のベンチマーク結果qwen38-27bで30超の高速化gemma4では最大26倍の可能性も&#34;&gt;驚愕のベンチマーク結果：Qwen3.8-27Bで30%超の高速化、Gemma4では最大2.6倍の可能性も&lt;/h2&gt;
&lt;p&gt;今回のベンチマーク、マジで数字が跳ね上がっていて驚きました。&lt;/p&gt;
&lt;p&gt;まずQwen3.8-27B系のモデルについて。以前のx16+x4構成と比べると、全体的な処理スピードが30%〜35%ほどアップしています。特に「セクション生成」のプロセスが凄まじくて、Heretic-Abliteratedでは111.4秒から56.1秒へ、unsloth版でも110.8秒から48.7秒へと、なんと半分以下の時間まで短縮できました。負荷の高い長文タスクほど、この構成変更の恩恵をダイレクトに受けられる感じですね。&lt;/p&gt;
&lt;p&gt;さらに、Gemma4-26B-A4Bやgpt-oss-safeguard-20Bといったモデルについても、1セクションあたりの処理時間を過去の記録と比較してみたところ、1.7倍から、条件次第では最大で2.6倍もの高速化が見込める計算になりました。個人的には、この数値の差はかなり衝撃的でした。単に「速くなった」というレベルを超えて、作業効率そのものが劇的に変わるレベルの結果が出ています。&lt;/p&gt;
&lt;h2 id=&#34;なぜ帯域を削ったx8構成の方が速かったのかレーン数と世代の統一が鍵&#34;&gt;なぜ帯域を削った「x8」構成の方が速かったのか？レーン数と世代の統一が鍵&lt;/h2&gt;
&lt;p&gt;「x16をx8に減らしたのに、なんで速くなったの？」って、一見すると逆転現象みたいで不思議に思うよね。でも、ここを深掘りしてみると、実は「単なる帯域の広さ」よりも「通信の質」が重要だったことが見えてくるんだ。&lt;/p&gt;
&lt;p&gt;まず根本的な部分として、B580自体の仕様がPCIe 4.0 x8での動作を前提としている、っていう点があるんだよね。前回の構成は、一方はx16と表示されていても実質はx8、でもう一方はx4で動いていたから、レーン数そのものにかなりの格差があったんだ。しかも、そのx4側はPCIe 3.0だった。これだと、せっかくの4.0世代のパワーが、古い規格の狭い道に足を引っ張られている状態だったと言えるかな。&lt;/p&gt;
&lt;p&gt;今回の変更で、両方のスロットをPCIe 4.0のx8に揃えたことで、レーン数の実質的な底上げと、規格の統一が同時に実現できたのが大きいと思う。世代が揃うことで、デバイス間の認識や制御のレイテンシが安定して、ソフトウェア側でのスケジューリングもより効率的に回るようになったんじゃないかな。単なる「道路の幅」を広げることよりも、「左右の道の規格を揃えて、スムーズに合流できるようにした」ことのメリットが、数値として如実に現れた結果だと思うよ。&lt;/p&gt;
&lt;h2 id=&#34;まとめマルチgpu環境における対称性の重要性と最適解&#34;&gt;まとめ：マルチGPU環境における「対称性」の重要性と最適解&lt;/h2&gt;
&lt;p&gt;今回の検証を通じて、改めて感じたことがあります。マルチGPU環境で大規模モデルを動かすとき、一番大事なのは「片方のパーツを最強にする」ことじゃなくて、「2枚のGPUのバランスをいかに整えるか」っていう、いわゆる「対称性」なんだよね。&lt;/p&gt;
&lt;p&gt;正直、PCIe x16という広大な帯域をあえて手放して、x8に絞るっていうのは、スペック重視の視点から見ると少し怖さもある選択でした。でも、結果としてQwenやGemmaのような巨大なモデルで劇的なスピードアップが見られたのは、ボトルネックを解消したからに他ならないと思うんだよね。&lt;/p&gt;
&lt;p&gt;20B〜27BクラスのモデルをB580×2で動かす以上、VRAMの制約でどうしても2枚への分割は避けて通れない。だからこそ、片方のGPUの性能に引きずられて、全体の処理が停滞してしまうのを防ぐことが、コスパ最強の推論環境を作るための最適解なんだなって。&lt;/p&gt;
&lt;p&gt;もちろん、もっと複雑な要因も絡んでいるはずだけど、「極端な非対称構成を避けて、左右のバランスを取る」というアプローチは、自作環境を構築する上での、非常に有効で、かつ、もっとも効率的な第一歩になるんじゃないかな。&lt;/p&gt;</description>
    </item>
  </channel>
</rss>
