Hizmet robotları için gündelik etkileşimlerinde yürütme, sensör veya ortamsal faktörlerden dolayı emniyetsiz durumlar oluşabilir. Bu tür durumlarda emniyetin sağlanması kritik öneme sahiptir. Bu durumların sezilebilmesi için sürekli eylem gözetimi ve hata sezme bileşenlerine ihtiyaç duyulmaktadır. Bu amaçla, bu çalışmada nesne etkileşim hatalarının sezilmesi için çok kipli bir eylem gözetimi ve hata sezme sistemi sunulmuştur. Tek bir sensör kipine bağımlı kalmak yerine, farklı tipte sensörlerden alınan gözlemler tümleştirilerek farklı hata senaryoları için hata sezme başarımı arttırılmıştır. Önerilen sistemde iç algı, işitsel algı ve görsel algı kipleri birbirlerinden bağımsız olarak işlenerek semantik yüklemler elde edilmiş ve bu yüklemler hata sezme için birleştirilmiştir. İnsansı robotumuz ile masa üstünde yapılan deney sonuçlarına göre sensör verilerinin hata sezmeye katkılarının tamamlayıcı olduğu gözlenmiştir. Çok kipli sensör füzyonuyla hata sezme, tutma eylemi için %86, bırakma ve itme eylemleri için %95 oranında hata sezme başarımı ile tek kipli hata sezmeden daha başarılı sonuçlar üretmiştir.
Unsafe situations might arise for service robots in everyday manipulation settings due to operational, sensory or environmental factors. Ensuring safety is crucial for these settings. In order to detect these situations, onboard continuous execution monitoring and failure detection procedures are needed. To address these issues, we present a multimodal failure monitoring and detection system to detect manipulation failures. Rather than relying only on a single sensor modality, we consider integration of different modalities to get better detection performance in different failure cases. In our system, high level proprioceptive, auditory and visual predicates are extracted by processing each modality separately. Then, the extracted predicates are fused altogether. Experiments on our humanoid robot for tabletop manipulation scenarios indicate that the contributions of modalities are complementary of each other. Multimodal fusion-based failure detection outperforms the unimodal detection with 86% success rate for pick and 95% success rates for place and push actions.
