دانلود مقاله انگلیسی رایگان:بهره برداری از پتانسیل شبکه های عصبی عمیق با موازی سازی ریز دانه ای لایه ای خرد - 2020
دانلود بهترین مقالات isi همراه با ترجمه فارسی 2
دانلود مقاله انگلیسی داده های بزرگ رایگان
  • Exploiting potential of deep neural networks by layer-wise fine-grained parallelism Exploiting potential of deep neural networks by layer-wise fine-grained parallelism
    Exploiting potential of deep neural networks by layer-wise fine-grained parallelism

    سال انتشار:

    2020


    عنوان انگلیسی مقاله:

    Exploiting potential of deep neural networks by layer-wise fine-grained parallelism


    ترجمه فارسی عنوان مقاله:

    بهره برداری از پتانسیل شبکه های عصبی عمیق با موازی سازی ریز دانه ای لایه ای خرد


    منبع:

    Sciencedirect - Elsevier - Future Generation Computer Systems, 102 (2020) 210-221: doi:10:1016/j:future:2019:07:054


    نویسنده:

    Wenbin Jiang a,∗, Yangsong Zhang a, Pai Liu a, Jing Peng a, Laurence T. Yang b,c, Geyan Ye a, Hai Jin a


    چکیده انگلیسی:

    Deep neural networks (DNNs) have become more and more important for big data analysis. They usually use data parallelism or model parallelism for extreme scale computing. However, the two approaches realize the performance improvement mainly by using coarse-grained parallelization schemes. Neither can fully exploit the potentials of the parallelism of many-core systems (such as GPUs) for neural network models. Here, a new fine − grained parallelism strategy (named FiLayer) is presented based on layer-wise parallelization. It has two components: inter-layer parallelism and intralayer parallelism. The inter-layer parallelism makes several neighboring layers be processed by using a pipeline manner in a network model. For intra-layer parallelism, the operations in one layer are separated into several parts and processed concurrently. To implement above fine-grained parallelism methods, CUDA streams are used. A mathematical analysis is presented for the influence of fragment number on performance of the inter-layer parallelism, and also an analysis for the influence of CUDA stream number on the performance of the intra-layer parallelism is given. The proposed approach is realized based on Caffe. Some representative datasets including CIFAR100 and ImageNet, are applied for experiments. The evaluation results show that it can help Caffe realize remarkable speedups, which makes much sense to big data analysis.
    Keywords: Deep learning | Fine-grained parallelism | CUDA stream


    سطح: متوسط
    تعداد صفحات فایل pdf انگلیسی: 12
    حجم فایل: 1260 کیلوبایت

    قیمت: رایگان


    توضیحات اضافی:




اگر این مقاله را پسندیدید آن را در شبکه های اجتماعی به اشتراک بگذارید (برای به اشتراک گذاری بر روی ایکن های زیر کلیک کنید)

تعداد نظرات : 0

الزامی
الزامی
الزامی
rss مقالات ترجمه شده rss مقالات انگلیسی rss کتاب های انگلیسی rss مقالات آموزشی
logo-samandehi