NVIDIA TensorRT 4、TensorFlow への統合、Kaldi 音声認識のアクセラレーション、 ONNX サポートの拡大を発表、GPU 推論が最大で CPU の 190 倍高速に 米国カリフォルニア州サンノゼ — GPU テクノロジ カンファレンス — (2018 年 3 月 27 日) — NVIDIA (NASDAQ: NVDA) は本日、潜在 ...

Windows 11 PC の人工知能は、ゲーマー、クリエイター、ライブ配信者、オフィス ワーカー、学生、そしてカジュアルな PC ユーザーの体験に革命をもたらし、技術史における極めて重要な瞬間を示しています。 RTX GPU を搭載した 1 億台以上の Windows PC や ...

・ 結 果 同じGPUとモデルを使用しても、TensorRTはTensorFlowより1.36倍高速でした。 モデルが大きく複雑化するほど効果は上がるため、最適化などを実施すればさらなる高速化が期待できます。 どんな場面で活躍している？ 自動運転 リアルタイム物体検出・認識 ...

大規模言語モデル（LLM）の需要が高まり続けるにつれ、高速で効率的かつスケーラブルな推論を実現することがこれまで以上に重要になっています。NVIDIAの TensorRT-LLM この課題に対処するために、LLM 推論用に特別に設計された強力なツールと最適化のセット ...

この記事では、Google Colaboratory上でTensorRTを利用できる環境を構築します。NVIDIA公式サイトからリポジトリをダウンロードし、TensorRTのパッケージをインストールする流れを説明しています。 2020/3/18Google colabのcudaが11.2にアップデートされたため、記事を更新 ...

スペクトラム・テクノロジーは、「はじめてのTensorRT学習・開発キット」の販売を開始すると発表した。 AIはこれから自動運転、画像認識など実用段階に入り、今後エッジデバイスでの高速処理が必須になる。同社ではその高速化のために、NVIDIAが開発した ...

大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大している。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがある。 そこでNVIDIA はMeta、AnyScale、Cohere、Deci、Grammarly、Mistral AI ...

Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワーク ...