1. Cartographie visuelle RF :
FuseBot construit d’abord une carte d’occupation probabiliste de l’emplacement de l’élément cible dans la pile en fusionnant les informations de la caméra en main du robot et de l’antenne RF. Ce composant localise les RFID dans la pile et applique un noyau RF conditionnel (sensible à la forme) pour construire un masque de probabilité 3D négatif, comme indiqué dans les régions rouges de la Fig. b.
En combinant ces informations avec son observation visuelle de la géométrie du pieu 3D (illustrée à la Fig. (c)), ainsi qu’une connaissance préalable de la géométrie de l’objet cible, FuseBot crée une distribution d’occupation 3D, illustrée sous forme de carte thermique à la Fig. (d) , où le rouge indique une probabilité élevée et le bleu indique une faible probabilité pour l’emplacement de l’élément cible.
2. Extraction visuelle RF :
Après avoir calculé la distribution d’occupation 3D, FuseBot a besoin d’une politique d’extraction efficace pour récupérer l’élément cible. L’extraction est un processus en plusieurs étapes qui consiste à supprimer les éléments occultants et à mettre à jour de manière itérative la carte de distribution d’occupation. Pour optimiser ce processus, nous formulons l’extraction comme un problème de minimisation sur le nombre d’actions attendu qui prend en compte le gain d’information attendu, le succès de saisie attendu et la carte de distribution de probabilité. Pour résoudre efficacement ce problème, FuseBot effectue une segmentation d’instance basée sur la profondeur, comme illustré à la Fig.e . La segmentation lui permet d’intégrer la distribution d’occupation 3D sur chacun des segments d’objets et d’identifier la prochaine meilleure prise optimale. FuseBot continue de désencombrer l’environnement jusqu’à ce que l’élément cible soit vu et récupéré.
