Resaro Europe GmbH

Qualitätsindex für KI Lösungen

KI Testplattform für die Durchführung von automatiserten, kontextbasierten Qualtitäts- und Performanceprüfungen von KI Lösungen 

• Enthält vorgefertigte Testmethoden, einschließlich Tests von CV-Modellen, die zB Röntgenaufnahmen von Gepäckstücken, Luft-/Drohnenaufnahmen, statische und robotergestützte Überwachungssensoren von Kameras und anderen Sensoren analysieren
• Erweiterung, Änderung und Optimierung von Datensätzen durch diffusionsbasierter, synthetischer Objekterzeugung im Bild für ausgewählte Anwendungsfälle (z. B. Objekterzeugung in Röntegenbildern)
• Testdaten für Ausreißeranalyse, Eigenschafts-/Label-Korrelationsanalyse, Ähnlichkeitsanalyse und Verteilungsdriftanalyse für den Vergleich von Postproduktionsdaten zwischen Test- und Produktionsdatensätzen
• Modellbewertung für Precision/Recall pro Klasse über Ziel-/Objekttypen hinweg, Objektlokalisierung, Schwachstellenanalyse, Sichtbarkeit von Blindspots im Modell und investigative Analysewerkzeuge, einschließlich Confusion Matrix und räumlicher Heatmap-Generierung
• Unterstützt eine Reihe von CV-Modell Architekturen, von klassischen CNN-basierten (Convolutional Neural Networks) bis hin zu ViT-basierten (Vision Transformer) Architekturen
• Vorgefertigte Testbibliothek mit Open-Source-Benchmarks und proprietären, anwendungsspezifischen Tests.
• Erstellung synthetischer, anwendungsspezifischer Datensätze, einschließlich Multi-Turn-Datensätzen sowie Simulationen verschiedener Benutzerprofile.
• Testet verschiedene Aspekte der Systemleistung, darunter die Genauigkeit und Wiederauffindbarkeit von Eingabe-/Ausgabe-Guards, die Genauigkeit und Relevanz der Ausgabe, Toxizität, Verzerrung, Robustheit gegenüber Störungen und verschiedenen Arten von Eingaben sowie die KI-Sicherheit.
• Sicherheitstests für anwendungsspezifische Schwachstellen unter Verwendung aktueller Jailbreak-Techniken.
• Automatisiertes adaptives Red-Teaming für Sicherheitslücken.
• Verwendet das AI Solution Quality Index (ASQI)-Framework als umfassenden Leitfaden zur Identifizierung der auszuführenden Tests und zur Berichterstattung über verschiedene Aspekte der Leistung sowie über die angestrebten Leistungsschwellenwerte. 
• Automatische Berichterstellung für jeden Test. Vergleich der Ergebnisse mit früheren Versionen und anderen Systemen.
• Eine webbasierte Schnittstelle zum Verwalten von Benchmarks, Anzeigen/Vergleichen von Bewertungsberichten, Genehmigen/Ablehnen von Ergebnissen und Generieren/Verwalten synthetischer Datensätze.
• APIs, die die Integration von Tests in bestehende Benutzer-Workflows wie Bereitstellungspipelines ermöglichen.
• Möglichkeit, eigene Tests hinzuzufügen oder bestehende zu ändern 

Approved Intelligence Plattform

Ein End-to-End Evaluierungssystem zur Automatisierung und Skalierung von Tests. Die Plattform funktioniert sowohl in der Cloud- als auch in lokalen Umgebungen und bietet robuste, wiederverwendbare Module, mit denen maßgeschneiderte, umfassende KI-Tests sicher und effizient durchgeführt werden. Die Plattform enthält eine vollständige Palette von Tests zur Bewertung der Qualität, Interoperabilität, Leistung, Konformität und Sicherheit von KI-Systemen.

AI Solution Quality Index

Der AI Solution Quality Index (ASQI) unterstützt bei der Festlegung von Ziel-Qualitätsniveaus anhand konfigurierbarer Qualitätsindikatoren und Zuordnungen aus gängigen Governance-Frameworks. In Verbindung mit modularen Testpaketen für die zu testenden Lösungen, der automatischen Auswahl technischer Tests und der automatisierten Berichterstellung für Geschäfts- und Governance- sowie technische Stakeholder.