Nouvelles

May 26, 2023

WiMi a développé un système fermé

PÉKIN, 27 juillet 2023 /PRNewswire/ -- WiMi Hologram Cloud Inc. (NASDAQ : WIMI) (« WiMi » ou la « Société »), l'un des principaux fournisseurs mondiaux de technologies de réalité augmentée (« AR ») pour hologrammes, a annoncé aujourd'hui que

PÉKIN, 27 juillet 2023 /PRNewswire/ -- WiMi Hologram Cloud Inc. (NASDAQ : WIMI) (« WiMi » ou la « Société »), l'un des principaux fournisseurs mondiaux de technologies de réalité augmentée (« AR ») pour hologrammes, a annoncé aujourd'hui qu'un La méthode d'assistance guidée par AR est décrite pour fournir un retour visuel amélioré à l'utilisateur pour un contrôle en boucle fermée à l'aide d'un IMC hybride qui combine des signaux EEG et un suivi oculaire pour un contrôle intuitif et efficace du bras robotique.

Un procédé de contrôle de bras robotique à interface cerveau-machine à signal hybride en boucle fermée basé sur la réalité augmentée par WiMi améliore le retour visuel pour l'utilisateur en combinant l'IMC basé sur des signaux d'électroencéphalogramme (EEG) et des techniques de suivi oculaire pour obtenir un contrôle en boucle fermée pendant le contrôle. du bras robotique. Le système intègre les fonctions d'IMC, de suivi oculaire, de traitement d'image, d'automatisation et d'interface AR pour permettre à l'utilisateur d'effectuer des tâches de manipulation d'objets. Le traitement d'image est utilisé pour segmenter tous les objets rectangulaires potentiels de l'image de l'espace de travail. L'utilisateur peut utiliser le suivi oculaire pour sélectionner les objets segmentés. La sortie décodée de l'IMC est utilisée pour (1) confirmer l'objet sélectionné par l'utilisateur, (2) changer la séquence d'actions et (3) contrôler en continu l'ouverture et la hauteur du luminaire pendant la préhension et le levage. L'objet sélectionné par l'utilisateur et l'état des opérations de préhension et de levage sont renvoyés à l'utilisateur en temps réel via un écran d'ordinateur utilisant la technologie AR. Enfin, le bras robotique effectue des tâches d'étirement, de préhension, de levage, de délivrance et de relâchement en fonction du résultat du décodage hybride de l'IMC. L'équipement du système comprend un eye tracker, un casque EEG, un ordinateur, un bras robotique et une caméra USB. L'interaction entre l'utilisateur et le système est réalisée à l'aide d'un regard hybride IMC et d'un retour visuel amélioré par AR.

Un système de contrôle de bras robotique BMI à signal hybride en boucle fermée basé sur la réalité augmentée de WiMi comprend :

Interface de contrôle de réalité augmentée : grâce à la technologie AR, une interface de contrôle intuitive et facile à utiliser est conçue pour que les utilisateurs puissent contrôler le mouvement du bras robotique par des gestes ou par la voix.

Acquisition de signaux EEG : Les signaux électriques du cerveau de l'utilisateur sont capturés à l'aide d'un équipement EEG et transmis à un ordinateur.

Traitement des signaux EEG : à l'aide d'algorithmes de traitement du signal, les signaux EEG sont filtrés, les caractéristiques sont extraites et d'autres opérations sont effectuées pour extraire les commandes de mouvement du bras robotique que l'utilisateur souhaite contrôler.

Générer des signaux de contrôle : sur la base des signaux EEG de l'utilisateur, des signaux de contrôle sont générés pour contrôler le mouvement du bras robotique.

Contrôle du bras robotique : le système de contrôle du bras robotique, y compris la sélection et la construction de dispositifs matériels tels que des pilotes de moteur, des capteurs de position et des puces de contrôle.

Réalisation du contrôle en boucle fermée : les informations de retour collectées sur la position du bras robotique sont renvoyées à l'ordinateur pour réaliser un contrôle en boucle fermée et assurer le mouvement précis et stable du bras robotique.

Contrôle en temps réel : transmission en temps réel des signaux de contrôle de l'utilisateur et des informations de retour sur la position du bras robotique au système de contrôle du bras robotique, réalisant un contrôle en temps réel.

WiMi a testé le système en boucle fermée développé (avec retour AR) par rapport au système en boucle ouverte conventionnel actuel (avec inspection visuelle uniquement). Les résultats montrent que le retour AR réduit considérablement les commandes de déclenchement pour saisir et soulever des objets par rapport aux tests utilisant uniquement une inspection visuelle normale. De plus, la hauteur libre du luminaire lors du levage a été réduite. Les utilisateurs d'IMC hybrides ont bénéficié des informations fournies par l'interface AR, qui ont augmenté l'efficacité et réduit la charge cognitive pendant le processus de préhension et de levage. Le système de retour AR en boucle fermée offre aux utilisateurs un moyen nouveau et efficace de contrôler le bras robotique à l'aide d'un IMC hybride, améliorant encore le système de contrôle conventionnel en intégrant des algorithmes de traitement d'image et d'apprentissage automatique plus avancés pour améliorer la segmentation de l'objet dans le Espace de travail et décodage du signal IMC.