Embedded AI

Künstliche Intelligenz direkt auf dem Modul – schnell, sicher, ohne Cloud.

Unsere byteENGINE System on Modules mit integrierter NPU führen neuronale Netze lokal aus. Und wir helfen Ihnen, Ihr AI-Modell so zu erstellen und zu optimieren, dass es auf Ihrer Zielplattform zuverlässig läuft.

AI-Projekt besprechen Module mit NPU ansehen

  • bis 2.3 TOPSNPU-Leistung auf dem Modul
  • 3 PlattformenNXP i.MX 8M Plus, i.MX 93, ST STM32MP25
  • Swiss madeEntwicklung & Support aus Winterthur

Warum Edge AI?

Wenn die Inferenz direkt auf dem Gerät stattfindet, statt in der Cloud, entstehen handfeste Vorteile für industrielle Anwendungen.

Echtzeit

Entscheidungen in Millisekunden – ohne Netzwerk-Latenz. Entscheidend für Qualitätsprüfung, Steuerung und Sicherheit.

Datenschutz

Bilder und Sensordaten verlassen das Gerät nicht. Ideal für Medizintechnik, öffentliche Räume und sensible Produktionsdaten.

Offline-fähig

Funktioniert auch ohne Internetverbindung – im Feld, im Fahrzeug, in der Landwirtschaft oder im abgeschotteten OT-Netz.

Effizient

Die NPU rechnet um ein Vielfaches effizienter als die CPU. Lüfterlose Designs mit wenigen Watt und ohne laufende Cloud-Kosten.

AI auf der embedded NPU

Eine Neural Processing Unit (NPU) ist ein spezialisierter Beschleuniger für neuronale Netze. Sie entlastet die CPU, sodass Ihre Applikation, Kommunikation und Echtzeit-Aufgaben parallel weiterlaufen. Diese byteENGINE Module bringen eine NPU mit:

2.3TOPS

NXP i.MX 8M Plus · 4× Cortex-A53 + Cortex-M7

byteENGINE IMX8M Plus

  • Leistungsstärkste NPU in unserem Portfolio
  • Integrierter Bildsignalprozessor (ISP) für Kameraanwendungen
  • Ideal für Machine Vision, Objekterkennung, mehrere Modelle parallel
  • Toolchain: NXP eIQ, TensorFlow Lite, ONNX Runtime

Vision & Multi-Model

1.35TOPS

ST STM32MP257 · 2× Cortex-A35 + Cortex-M33

byteENGINE STM32MP25 OSM

  • Kompakter OSM-Formfaktor (30 × 30 mm)
  • Zwei Kameraeingänge, Full-HD-Display, 3D-GPU
  • Ideal für Vision und Anomalieerkennung in Industrieanwendungen
  • Toolchain: ST Edge AI Suite, X-LINUX-AI, TensorFlow Lite, ONNX

Kompakt & industriell

0.5TOPS

NXP i.MX 93 · 2× Cortex-A55 + Cortex-M33

byteENGINE IMX93 OSM

  • Arm Ethos-U65 microNPU – sehr energieeffizient
  • EdgeLock Secure Enclave für sichere Geräte
  • Ideal für Sensordatenanalyse, Keyword Spotting, einfache Vision
  • Toolchain: NXP eIQ, Arm Vela Compiler, TensorFlow Lite

Low Power

Kein NPU nötig? Auch auf unseren Modulen ohne NPU (z. B. TI AM62x-Familie) lassen sich kleinere Modelle auf CPU oder GPU ausführen – wir beraten Sie, welche Plattform für Ihre Anwendung die richtige ist.

Typische Anwendungen

Embedded AI passt überall dort, wo Geräte selbst erkennen, klassifizieren oder vorhersagen sollen.

AnwendungsgebietBeispielModelltyp
Industrie & AutomationOptische Qualitätsprüfung, Fehlererkennung an Bauteilen, Predictive Maintenance anhand von Vibrations- oder StromdatenKlassifikation, Anomalieerkennung
Smart City & InfrastrukturPersonen- und Fahrzeugzählung, Belegungserkennung – datenschutzkonform direkt im GerätObjekterkennung
MedizintechnikSignalklassifikation, Bildvorverarbeitung, Assistenzfunktionen ohne DatenübertragungKlassifikation, Segmentierung
Verkehr & LandwirtschaftErkennung von Objekten, Pflanzen oder Tieren im Feld, auch ohne NetzabdeckungObjekterkennung
Test & MesstechnikIntelligente Auswertung von Messsignalen, automatische Klassifikation von PrüfergebnissenZeitreihen-Modelle

Vom Modell zur Zielplattform – wir unterstützen Sie

Ein Modell, das auf dem PC mit GPU gut funktioniert, läuft nicht automatisch effizient auf einer embedded NPU. Unterstützte Operatoren, Quantisierung, Speicherbedarf und Latenz müssen zur Hardware passen. Genau hier setzen wir an.

  1. MachbarkeitAnalyse Ihres Use Cases, Anforderungen an Genauigkeit, Latenz und Energie. Auswahl der passenden Plattform.
  2. Modell erstellenAuswahl einer geeigneten Architektur (z. B. aus Model Zoos) und Training bzw. Fine-Tuning mit Ihren Daten.
  3. OptimierenINT8-Quantisierung, Pruning, Anpassung nicht unterstützter Operatoren – damit möglichst alles auf der NPU läuft.
  4. KonvertierenKompilierung für die Ziel-NPU mit den Hersteller-Tools (NXP eIQ, Arm Vela, ST Edge AI).
  5. BenchmarkenMessung von Inferenzzeit, Genauigkeit und Speicher auf echter byteENGINE Hardware.
  6. IntegrierenEinbindung in Ihr Linux-System und Ihre Applikation – inklusive Kamera-Pipeline und Updates.

Was Sie von uns bekommen

  • Plattform-Empfehlung auf Basis von Messungen statt Datenblattwerten
  • Optimiertes Modell, quantisiert und kompiliert für Ihre Ziel-NPU
  • Yocto-/Linux-Integration der AI-Runtime in Ihr Produkt-Image
  • Langfristiger Support – vom Prototyp bis zur Serie und darüber hinaus

Sie haben bereits ein Modell? Dann portieren und optimieren wir es für Ihre Zielplattform. Sie stehen noch ganz am Anfang? Dann begleiten wir Sie von der Idee bis zum lauffähigen Prototyp.

Software-Stack auf dem byteENGINE

  • Ihre Applikation C/C++, Python, Qt
  • Vision-Pipeline GStreamer, OpenCV
  • AI-Runtime TensorFlow Lite, ONNX Runtime
  • NPU-Treiber & Delegates eIQ, Ethos-U, X-LINUX-AI
  • Embedded Linux Yocto / Debian, meta-bytesatwork
  • Hardware byteENGINE SOM mit NPU

Häufige Fragen

Welche Modell-Formate werden unterstützt?

Grundsätzlich TensorFlow Lite und ONNX. Modelle aus PyTorch oder Keras lassen sich in der Regel konvertieren. Welche Operatoren direkt auf der NPU laufen, hängt von der Plattform ab – das prüfen wir für Sie.

Was bedeutet TOPS – und ist mehr immer besser?

TOPS (Tera Operations per Second) beschreibt die theoretische Rechenleistung. Entscheidend für Ihre Anwendung sind aber die reale Inferenzzeit Ihres Modells, die Operator-Abdeckung der NPU und der Energieverbrauch. Deshalb messen wir auf echter Hardware.

Kann ich die NPU vorab testen?

Ja – mit unseren byteDEVKITs können Sie Ihre Modelle und Ihre AI-Beispiele direkt evaluieren. Sprechen Sie uns an.

Wie steht es um Security und den Cyber Resilience Act?

AI-Funktionen sind Teil Ihres Produkts und damit auch Teil Ihrer CRA-Pflichten. Wir integrieren Modelle und Runtimes so, dass sie mit Secure Boot, Update-Mechanismen und unserem Lifecycle Management zusammenspielen.

Bringen Sie AI auf Ihr Gerät

Erzählen Sie uns von Ihrer Anwendung. Wir prüfen die Machbarkeit und zeigen Ihnen, welche Plattform und welches Modell zu Ihren Anforderungen passt.

Kontakt aufnehmen Module & DEVKITs

Datenschutzhinweis

Diese Webseite nutzt externe Komponenten, wie z.B. Google Analytics, Google Maps, und Youtube, welche dazu genutzt werden können, Daten über Ihr Verhalten zu sammeln. Datenschutzinformationen

Notwendige Cookies werden immer geladen