Raptor N3000 LLM推論ASIC
Raptor N3000は、AIアクセラレータ市場におけるNeuchipsの戦略的進化を象徴するものです。Neuchipsは当初、ディープラーニング・レコメンデーション・モデル（DLRM）に特化した専用ASIC（特定用途向け集積回路）アクセラレータとしてRecAccel™ N3000を開発しました。2022年後半のChatGPTのリリース後、Neuchipsは大規模言語モデル（LLM）の重要性の高まりを認識し、既存の技術を迅速に市場の需要に合わせて適応させました。
LLMアクセラレータ
エンタープライズ向けローカルAI導入
| Raptorシリーズ 仕様 | |
|---|---|
| 組み込み ARC HS48 プロセッサ |
|
| 組み込み ARC EV72 プロセッサ |
|
| 通信インターフェース | PCle Gen 5x8 |
| メモリ |
|
| AIアクセラレータ |
|
LLM対応の強化SDK
LLM対応の強化SDKは、シームレスなLLM統合のために設計された、強力かつ扱いやすい開発ツールキットです。最適化されたモデル統合機能と直感的なAPIインターフェースを備えており、開発者はLLM機能を素早く実装できます。あらかじめ用意された最適化ツールにより、モデル効率のファインチューニングも容易に行えます。SDKは1秒あたり8〜10トークンという最適な処理レートを維持し、自然な人間の読書速度に相当するスムーズな対話体験を実現します。この包括的なソリューションは、開発プロセスを簡素化しつつパフォーマンスを最大化し、あらゆるスキルレベルの開発者が高度なLLM機能を活用できるようにします。
エンタープライズ向けアダプティブAIアクセラレーション
N3000は、これまでの世代で実績のあるアーキテクチャと成熟したソフトウェアエコシステムを受け継ぎ、その上に構築されています。実運用環境での豊富なデプロイ実績に裏打ちされた信頼性の高い性能指標により、一貫性のある予測可能な結果を提供します。本プラットフォームはローカルなベクタデータベース機能を統合しており、デバイス上で効率的なデータ処理と検索を実現します。こうした実証済みのテクノロジーと最新機能の組み合わせにより、N3000は高度な処理ニーズに応える信頼性の高い選択肢となっています。
- 既存のASICアーキテクチャを活用
- 開発・導入コストを削減
- 総所有コスト（TCO）の削減
- 低消費電力
- 冷却要件の軽減
- 運用コストの削減
- 環境に配慮した運用
- 人の読書速度に見合った処理性能
- エンタープライズ用途に十分な性能
- ローカルベクター検索機能を搭載
- 64GB DRAMによる効率的なメモリ管理
- 単一チップソリューション
- コンパクトなフォームファクタ
- 既存システムへの容易な統合
- ローカルでのデータ処理・保存に対応