Analysis of Optimum 3-Dimensional Array and Fast Data Movement for Efficient Memory Computation in Convolutional Neural Network Models - LIRMM - Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier Access content directly
Conference Papers Year : 2023

Analysis of Optimum 3-Dimensional Array and Fast Data Movement for Efficient Memory Computation in Convolutional Neural Network Models

Analyse du réseau tridimensionnel optimal et du mouvement rapide des données pour un calcul efficace de la mémoire dans les modèles de réseaux neuronaux convolutifs

Deepika Selvaraj
Arunachalam Venkatesan
David Novo

Abstract

CNN-based inference engine's performance and efficiency always depends on the computational and dataflow-control complexity. Instead of considering a 2dimensional (2D) feature array for processing, a 3D array of features/weights would improve the dataflow movement & memory computation. the optimum 8 × 8 × 32 3D-feature array size was chosen based on the factor of on-chip memory requirement, data reuse, and PE utilization. Using the optimum 8 × 8 × 32 feature array, seven different combinations of data-flow scheduling strategies were analysed by varying row, column, and depth-wise parameters on the workload model using a MATLAB environment. From the analysis, the strategy-V (depth-wise parallel & row/column-wise sequence) is found to be the best with a 4×8 processor array. Compared to the state-of-the-art processor strategy, strategy-V achieves the data transfer rate (off-chip to onchip) and on-chip memory requirement of 3.3 times (higher) and 16 times (lesser) with small overhead of processor cost.
Les performances et l'efficacité du moteur d'inférence basé sur le CNN dépendent toujours de la complexité du calcul et du contrôle du flux de données. Au lieu de considérer un tableau de caractéristiques bidimensionnel (2D) pour le traitement, un tableau 3D de caractéristiques/poids améliorerait le mouvement du flux de données et le calcul de la mémoire. La taille optimale du tableau de caractéristiques 3D 8 × 8 × 32 a été choisie sur la base du facteur de l'exigence de mémoire sur la puce, de la réutilisation des données et de l'utilisation de l'EP. En utilisant le tableau optimal de 8 × 8 × 32 caractéristiques, sept combinaisons différentes de stratégies d'ordonnancement du flux de données ont été analysées en faisant varier les paramètres de ligne, de colonne et de profondeur sur le modèle de charge de travail à l'aide d'un environnement MATLAB. L'analyse révèle que la stratégie V (parallèle en profondeur et séquence en ligne/colonne) est la meilleure avec un réseau de processeurs 4×8. Par rapport à la stratégie de processeur de pointe, la stratégie-V permet d'obtenir un taux de transfert de données (de la puce vers la puce) et un besoin en mémoire sur la puce 3,3 fois (plus élevé) et 16 fois (moins élevé) avec une faible surcharge du coût du processeur.
No file

Dates and versions

lirmm-04311136 , version 1 (28-11-2023)

Identifiers

Cite

Deepika Selvaraj, Arunachalam Venkatesan, David Novo. Analysis of Optimum 3-Dimensional Array and Fast Data Movement for Efficient Memory Computation in Convolutional Neural Network Models. ICCCSP 2023 - 7th International Conference on Computer, Communication, and Signal Processing, Jan 2023, Kerala, India. pp.94-108, ⟨10.1007/978-3-031-39811-7_8⟩. ⟨lirmm-04311136⟩
5 View
0 Download

Altmetric

Share

Gmail Facebook X LinkedIn More