Mixture-of-experts for handwriting trajectory reconstruction from IMU sensors
Résumé
The use of digital pens for online handwriting trajectory reconstruction is a prevalent method for human-computer interaction. In this study, we focus on a digital pen equipped with sensors where we aim at reconstructing the online handwriting trajectory. This pen enables writing on any surface and preserving the digital trace of handwriting. This type of pen could be used as an aid to learning to write in classroom.
In this paper, we propose a new approach learning to finely reconstruct the touching trajectories while precisely analyzing the hovering part in order to position the next touching trace correctly. This relies on a Mixture-Of-Experts (MOE) approach. The first expert is dedicated for the pencil touch, and is named touching expert model. The second one is dedicated for the hovering pen trajectory, and is named hovering expert model. We improve on the learning of each of these experts based on additional context or specific examples.
In addition we introduce a novel public benchmark dataset, to enable future research and comparisons in the field of handwriting reconstruction. The results demonstrates a significant enhancement compared to its primary competitors
L'utilisation de stylos numériques pour la reconstruction en ligne de la trajectoire de l'écriture est une méthode répandue pour l'interaction homme-machine. Dans cette étude, nous nous concentrons sur un stylo numérique équipé de capteurs afin de reconstruire la trajectoire de l'écriture en ligne. Ce stylo permet d'écrire sur n'importe quelle surface et de préserver la trace numérique de l'écriture. Ce type de stylo pourrait être utilisé comme aide à l'apprentissage de l'écriture en classe.
Dans cet article, nous proposons une nouvelle approche apprenant à reconstruire finement les trajectoires d'effleurement tout en analysant précisément la partie en vol stationnaire afin de positionner correctement la trace d'effleurement suivante. Cette approche repose sur un mélange d'experts (MOE). Le premier expert est dédié au toucher du crayon, et est nommé modèle expert du toucher. Le second est dédié à la trajectoire du stylo en vol stationnaire, et est nommé modèle expert en vol stationnaire. Nous améliorons l'apprentissage de chacun de ces experts en fonction d'un contexte supplémentaire ou d'exemples spécifiques.
En outre, nous introduisons un nouvel ensemble de données de référence publiques, pour permettre des recherches et des comparaisons futures dans le domaine de la reconstruction de l'écriture manuscrite. Les résultats démontrent une amélioration significative par rapport à ses principaux concurrents
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|