NXP Semiconductors Unités de traitement neuronal discrètes (DNPU) Ara240
Les unités de traitement neuronal discret (DNPU) Ara240 de NXP Semiconductors permettent une IA générative en temps réel, de grands modèles de langage (LLM) et des modèles vision-langage (VLM) sur des systèmes informatiques de bord et intégrés, offrant une faible latence, des coûts opérationnels réduits et une confidentialité des données améliorée. Son architecture innovante combine une puissance de calcul équilibrée et une largeur de bande hors puce élevée pour exécuter efficacement des modèles de grande taille.
L’architecture Ara240 est conçue pour prendre en charge des charges de travail multimodales avancées et basées sur des transformateurs, atteignant jusqu’à 40 téra-opérations équivalentes par seconde (eTOPS) et prenant en charge jusqu’à 16 GB de mémoire LPDDR4. Cette caractéristique permet une exécution fluide de modèles volumineux et complexes directement au bord, sans dépendre de ressources informatiques cloud coûteuses.
Grâce à un démarrage sécurisé intégré et à un processeur avec racine de confiance matérielle, l’Ara240 offre une sécurité renforcée pour les environnements de déploiement industriels, d’entreprise et intégrés. Ses interfaces hôtes PCIe Gen4 et USB 3.2 permettent une intégration simple dans les plateformes de calcul de bord, les PC/ordinateurs portables et les systèmes intégrés compatibles avec l'IA.
L'Ara240 de NXP Semiconductors est pris en charge par l'écosystème d'IA/ML de NXP, y compris le kit d'outils eIQ de NXP et le kit de développement de logiciel (SDK) Ara, qui accélère le développement, l'optimisation et le déploiement du modèle.
Caractéristiques
- Processeur
- Unité de traitement neuronale discrète (DNPU) Ara240 offrant jusqu'à 40 téra-opérations équivalentes par seconde (eTOPS)
- Processeur de réseau neuronal (NNP) propriétaire fonctionnant jusqu'à 900 MHz
- Mémoire
- Prend en charge jusqu'à 16 GB de double débit de données 4 (LPDDR4) externe à faible puissance
- Comprend 4 MB de mémoire flash SPI NOR et 8 KB d'EEPROM I2C pour le démarrage, la configuration et les données d'exécution
- Sécurité
- Le démarrage sécurisé garantit le démarrage authentifié du module
- Le processeur racine de confiance établit une base matérielle pour le déploiement sécurisé de l'IA
- Interfaces et connectivité
- Interface hôte PCIe Gen4, configurable en 1, 2 ou 4 voie(s) pour un transfert de données à haut débit
- USB 3,2 Gén 2 pour une communication hôte flexible
- Facile à utiliser
- Prise en charge du système d'exploitation (exécution) - Linux
- Kit de développement de logiciel (SDK) Ara
- Boîtiers FCBGA de 17 mm x 17 mm x 0,65 mm (de pas)
- IA haute performance en temps réel exécutant des LLM, des VLM et des charges de travail multimodales et génératives d'IA en périphérie avec jusqu'à 40 eTOPS
- Une exécution à faible latence et un coût d'exploitation réduit grâce à l'inférence locale réduisent les délais aller-retour et la dépendance au cloud
- Prise en charge de l'exécution de grands modèles avec une mémoire importante sur puce et jusqu'à 16 GB de LPDDR4(X) pour une gestion efficace des grands modèles de transformateur
- Déploiement sécurisé avec démarrage sécurisé intégré et processeur racine de confiance
- Intégration flexible de l'hôte avec les interfaces PCIe Gen4 et USB pour les plateformes de serveurs intégrées, de PC et de bord
Applications
- IA générative en périphérie
- Systèmes de vision par ordinateur et systèmes multimodaux
- Automatisation industrielle
- Robotique avancée
Schéma fonctionnel
Outil de développement
NXP Semiconductors Carte de développement du module Ara240 16 GB M.2
La carte de développement est un module d’accélérateur d’IA basé sur l’unité de traitement numérique (NPU) discrète Ara240.