Les lunettes intelligentes Ray-Ban bénéficient d’un boost d’utilité massif avec le hack ClawdBot cool (mais risqué)

Si vous êtes à l’aise avec un nouveau projet open source, vous pourriez faire des achats sur Amazon simplement en regardant un objet avec vos lunettes intelligentes Ray-Ban Meta.

Les lunettes intelligentes Ray-Ban Meta sont très utiles dès le départ, offrant la capture de photos et de vidéos, les appels, la lecture de musique et votre assortiment standard de produits de chatbot IA. Cependant, ils n’ont pas de boutique d’applications, ce qui signifie que vous êtes essentiellement coincé avec une poignée de services sélectionnés.

Aujourd’hui, le développeur indépendant Sean Liu a publié un projet open source appelé VisionClaw qui relie les lunettes intelligentes Ray-Ban Meta à OpenClaw (alias ClawdBot), donnant essentiellement des yeux et des oreilles à l’agent d’IA autonome.

Découvrez VisionClaw en action ci-dessous, avec l’aimable autorisation de Liu :

OpenClaw n’est cependant pas un modèle d’IA comme ChatGPT ou Google Gemini. C’est un agentique couche – essentiellement une couche de messagerie complexe construite sur un modèle d’IA qui interagit avec des services en votre nom, comme l’envoi d’e-mails, la gestion de listes de courses ou le contrôle des appareils domestiques intelligents – seulement trois des 56+ outils avec lesquels OpenClaw peut actuellement s’intégrer.

Fondamentalement, cela fonctionne comme ceci : VisionClaw utilise Gemini Live pour la voix et la vision par ordinateur en temps réel, qui peuvent faire des choses comme décrire ce que vous voyez et répondre à des questions – essentiellement le même genre de tâches que vous pouvez effectuer avec la méta-IA native des lunettes.

Image fournie par Sean Liu

Mais une fois que tu veux vraiment interagir avec une application ou un service, par exemple lorsque vous souhaitez envoyer un message par e-mail ou avec votre application de messagerie non Meta préférée comme Signal ou Telegram, Gemini Live transmet la demande à OpenClaw, qui prend des mesures.

Les utilisateurs souhaitant exécuter VisionClaw auront besoin d’un iPhone, car la base de code de Liu est écrite sous la forme d’une application Xcode/Swift qui utilise spécifiquement le kit d’outils d’accès aux appareils portables (DAT) de Meta pour iOS pour connecter le téléphone aux lunettes Ray-Ban Meta.

Au-delà de cela, vous aurez également besoin d’une bonne compréhension des risques liés à l’exécution d’OpenClaw sur votre matériel personnel.

Bien qu’il puisse faire des choses assez étonnantes, il s’agit d’un logiciel tiers qui peut vous obliger à saisir des mots de passe, des clés API et des informations personnelles, ce qui peut exposer l’utilisateur à des acteurs malveillants. Notamment, les intégrations de compétences d’OpenClaw pourraient être écrites par n’importe qui, les utilisateurs doivent donc être particulièrement vigilants.