Les villes intelligentes s’orientent vers l’automatisation de nombreux services essentiels. La qualité de vie des résidents de la ville dépend de la sécurité de ses bâtiments, routes, ponts et autres infrastructures. L’inspection manuelle de ces infrastructures, en plus d’être coûteuse, est une tâche fastidieuse qui nécessite des compétences particulières et un travail intense – surtout lorsque l’accès à certains sites, comme les ponts, n’est pas facile. En raison du grand nombre de ponts et des délais d’inspection, il existe un arriéré critique pour l’inspection des ponts au Canada qui nécessite une solution immédiate.

À la suite d’un partenariat entre l’Université de Waterloo et Rogers qui a débuté en 2019, Chul Min Yeum et Sriram Narasimhan, professeurs de génie civil et environnemental à Waterloo, ont reçu des fonds de recherche pour la création d’un système de surveillance et d’alerte de l’infrastructure de ville intelligente 5G utilisant des algorithmes d’intelligence artificielle (IA) et d’apprentissage automatique (ML) de pointe pour automatiser l’inspection des structures civiles.

« Avec le développement récent de la technologie robotique, des capteurs, de la réalité augmentée et virtuelle, soutenu par les progrès de la connectivité mobile 5G, l’inspection à distance des infrastructures civiles est désormais une option réalisable », explique Yeum.

Plate-forme d’inspection à distance

La technique d’inspection standard consiste à examiner l’infrastructure manuellement, où les ingénieurs recherchent des signes de dommages tels que des fuites, des fissures, de la corrosion ou toute autre marque distinctive. La plateforme d’inspection à distance (RIP) développée par Yeum et Narasimhan, leurs membres Zaid Al-Sabbag et Max Midwinter, et l’équipe de Rogers est une approche alternative au processus d’inspection manuelle.

Le RIP comprend un système robotique frontal, un inspecteur humain équipé de réalité étendue (XR), des algorithmes d’inspection et une connectivité 5G, reliant tous les éléments ensemble. Le robot est équipé de caméras couleur et thermiques et de détection et de télémétrie de la lumière (LiDAR) pour scanner le site inspecté.

Le robot scanne le pont, transférant des données en temps réel via des caméras et un LiDAR dans le Multi-Access Edge Computing (MEC) via le réseau 5G de Rogers.

Une fois les données reçues au MEC, l’application crée une carte 3D du pont et l’analyse à l’aide de l’IA. L’utilisation du MEC est essentielle pour réduire la latence et réduire le temps nécessaire à la communication entre le robot et les applications RIP. À ce stade, l’inspecteur humain peut évaluer les résultats de l’inspection à l’aide de la réalité augmentée (RA), ce qui permet une interaction pour un affinement et une documentation supplémentaires. De plus, ces résultats sont partagés avec les utilisateurs de réalité virtuelle (RV) à distance, les impliquant activement dans le processus d’inspection.

Détection automatique des dommages

La carte 3D stocke les informations sur les défauts et les actifs du pont. Plus la résolution des données collectées est élevée, plus les techniques de ML seront précises. En outre, en fonction des exigences, un seuil peut être introduit pour établir le niveau souhaité de précision de l’inspection. Si le seuil est bas, le système peut détecter presque toutes les fissures dans le pont, mais cela peut également entraîner un taux plus élevé de détections de faux positifs.

L’inspecteur humain équipé de RA qui supervise le processus à partir d’une zone sûre à proximité peut intervenir si nécessaire. L’inspecteur est localisé sur la carte 3D et peut afficher les emplacements endommagés et ajouter des annotations via le casque AR, ce qui aidera, dans certains cas, à identifier les zones qui peuvent être manquées par le robot. Le processus peut prendre en charge plusieurs inspecteurs compatibles AR.

L’inspecteur humain compatible VR, qui se trouve normalement loin dans un bureau, reçoit la carte du pont 3D et peut interagir avec l’inspecteur AR sur site pour soutenir le processus d’inspection à distance. Le processus peut accueillir plusieurs inspecteurs compatibles VR, ce qui permet une inspection collaborative.

Le rôle du réseau 5G

En 2019, l’Université et Rogers ont signé une entente de partenariat pour construire un campus intelligent compatible avec le réseau sans fil 5G et offrir des possibilités de collaboration en recherche et développement ancrées dans les réseaux de prochaine génération. Sans le soutien de Rogers, l’équipe de Yeum n’aurait pas accès au réseau 5G.

La plate-forme d’inspection à distance s’appuie sur une connectivité sans fil pour permettre une communication sans fil entre le robot et l’application RIP, que ce soit au MEC ou dans le cloud. La connectivité sans fil est également nécessaire pour permettre les communications pour les utilisateurs AR. La quantité de données transférées entre le robot et les applications RIP est énorme, exigeant à la fois une faible latence et un débit élevé. La connectivité 5G n’est pas seulement nécessaire pour la communication du robot avec l’application, mais il est également essentiel pour les utilisateurs AR de communiquer avec le robot et avec les utilisateurs VR collaborant à distance.

Avec le projet prolongé pour une troisième année, Yeum vise à intégrer un drone dans le RIP pour améliorer les capacités de collecte de données à courte portée. L’équipe amorcera également des collaborations avec le ministère des Transports de l’Ontario pour l’inspection des ponts et des inspections intérieures dans les centrales nucléaires. En outre, ils prévoient de mettre en œuvre une fonctionnalité de chat vocal et de partage de gestes pour assurer une communication transparente entre les systèmes AR et VR.