Analysis of Optimum 3-Dimensional Array and Fast Data Movement for Efficient Memory Computation in Convolutional Neural Network Models
Analyse du réseau tridimensionnel optimal et du mouvement rapide des données pour un calcul efficace de la mémoire dans les modèles de réseaux neuronaux convolutifs
Résumé
CNN-based inference engine's performance and efficiency always depend on the computational and dataflow-control complexity. Instead of considering a 2-dimensional (2D) feature array for processing, a 3D array of features/weights would improve the dataflow movement & memory computation. The optimum 8 × 8 × 32 3D-feature array size was chosen based on the factor of on-chip memory requirement, data reuse, and PE utilization. Using the optimum 8 × 8 × 32 feature array, seven different combinations of data-flow scheduling strategies were analyzed by varying row, column, and depth-wise parameters on the workload model using a MATLAB environment. From the analysis, strategy-V (depth-wise parallel & row/column-wise sequence) is found to be the best with a 4 × 8 processor array. Compared to the state-of-the-art processor strategy, strategy-V achieves the data transfer rate (off-chip to on-chip) and on-chip memory requirement of 3.3 times (higher) and 16 times (lesser) with a small overhead of processor cost.
La performance et l'efficacité du moteur d'inférence basé sur les CNN dépendent toujours de la complexité du contrôle du flux de données et des calculs. Au lieu de considérer un tableau de caractéristiques bidimensionnel (2D) pour le traitement, un tableau 3D de caractéristiques/poids améliorerait le mouvement du flux de données et le calcul de la mémoire. La taille optimale du tableau de caractéristiques 3D de 8 × 8 × 32 a été choisie en fonction du facteur de besoin en mémoire sur puce, de la réutilisation des données et de l'utilisation de l'unité de traitement élémentaire (PE). En utilisant le tableau de caractéristiques optimal de 8 × 8 × 32, sept combinaisons différentes de stratégies de planification du flux de données ont été analysées en variant les paramètres de ligne, de colonne et de profondeur sur le modèle de charge de travail en utilisant un environnement MATLAB. D'après l'analyse, la stratégie-V (parallélisme en profondeur et séquence en ligne/colonne) s'est avérée être la meilleure avec un tableau de processeurs de 4 × 8. Comparée à la stratégie de processeur de pointe, la stratégie-V atteint un taux de transfert de données (de hors puce à sur puce) et un besoin en mémoire sur puce de 3,3 fois (plus élevé) et 16 fois (moindre) avec un faible surcoût de processeur.
Origine : Fichiers produits par l'(les) auteur(s)