loading...

jadiddovom

بازدید : 324
جمعه 23 خرداد 1399 زمان : 12:58

پرنده اولیه دانشگاه رایس می تواند کمتر به کرم اهمیت دهد. به دنبال مگاتن انتشار گازهای گلخانه ای است.


Early Bird روشی با کارآیی انرژی برای آموزش شبکه های عصبی عمیق (DNNs) ، شکل هوش مصنوعی (AI) در پشت اتومبیل های رانندگی ، دستیاران هوشمند ، تشخیص چهره و ده ها کاربرد فناوری پیشرفته دیگر است.

محققان دانشگاه A&M رایس و تگزاس از Early Bird در 29 آوریل در مقاله ای توجه در ICLR 2020 ، کنفرانس بین المللی نمایندگی های یادگیری رونمایی کردند . یک مطالعه توسط نویسندگان اصلی Haoran You و Chaojian Li از آزمایشگاه محاسبات کارآمد و هوشمند رایس (EIC) رایس نشان داد که Early Bird می تواند 10.7 برابر انرژی کمتری برای آموزش یک DNN به همان سطح دقت یا بهتر از آموزش معمولی استفاده کند. مدیر آزمایشگاه EIC ، یینگان لین به همراه ریچارد بارانیوک رایس و ژانگ یانگ وانگ تگزاس A&M رهبری این تحقیق را انجام داد.

لین گفت: "یك موتور محرك اصلی در پیشرفت های اخیر در AI ، معرفی DNN های بزرگتر و گران تر است." "اما آموزش این DNN ها انرژی زیادی را می طلبد. برای رونمایی از نوآوری های بیشتر ، ضروری است روشهای آموزش" سبزتر "را پیدا کنید که هم نگرانی های زیست محیطی را برطرف کند و هم موانع مالی تحقیقات هوش مصنوعی را کاهش دهد."

آموزش DNN های بریدگی بسیار پر هزینه و پرهزینه است. یک مطالعه در سال 2019 توسط موسسه آلن برای هوش مصنوعی در سیاتل نشان داد که تعداد محاسبات مورد نیاز برای آموزش یک شبکه عصبی با عمق بالای پرواز بین 300 تا 30000 برابر بین سالهای 2012-2018 افزایش یافته است ، و یک مطالعه متفاوت در سال 2019 توسط محققان دانشگاه ماساچوست آمرست کربن را پیدا کرد. ردپای آموزش یک DNN تک و نخبه تقریباً معادل انتشار دی اکسید کربن در طول عمر پنج خودروی آمریکایی بود.

DNN ها حاوی میلیون ها یا حتی میلیارد ها نورون مصنوعی هستند که یاد می گیرند کارهای تخصصی را انجام دهند. بدون برنامه نویسی صریح ، شبکه های عمیق نورون های مصنوعی می توانند با "مطالعه" تعداد زیادی از نمونه های قبلی تصمیم بگیرند مانند انسانها و حتی از متخصصان انسانی فراتر بروند. به عنوان مثال ، اگر DNN عکس گربه ها و سگ ها را مطالعه کند ، می آموزد که گربه ها و سگ ها را بشناسند. AlphaGo ، یک شبکه عمیق آموزش دیده برای بازی تخته بازی Go ، در سال 2015 پس از مطالعه ده ها هزار بازی که قبلاً بازی کرده بودند ، یک بازیکن انسانی حرفه ای را شکست داد.



لین ، استادیار مهندسی برق و رایانه در دانشکده مهندسی براون رایس گفت: "روش عالی برای انجام آموزش DNN ، هرس و قطار مترقی نامیده می شود." "ابتدا یک شبکه متراکم و غول پیکر را آموزش می دهید ، سپس بخش هایی را که مهم به نظر نمی رسد ، مانند هرس درخت را حذف می کنید. سپس شبکه هرس را مجدداً بازیابی می کنید تا عملکرد را بازیابی کنید زیرا عملکرد پس از هرس خراب می شود. بارها برای به دست آوردن عملکرد خوب. "

هرس ممکن است زیرا تنها بخشی از نورون های مصنوعی موجود در شبکه به طور بالقوه می توانند کار را برای یک کار تخصصی انجام دهند. آموزش ارتباط بین نورونهای لازم را تقویت می کند و نشان می دهد کدام یک از آنها را می توان جدا کرد. هرس اندازه مدل و هزینه محاسباتی را کاهش می دهد و باعث می شود استقرار DNN های کاملا آموزش دیده بویژه در دستگاه های کوچک با حافظه و قابلیت پردازش محدود ، مقرون به صرفه تر باشد.

لین گفت: "اولین قدم ، آموزش شبکه متراکم و غول پیکر ، گران ترین است." "ایده ما در این کار شناسایی مرحله نهایی هرس کامل و کاملاً کاربردی است که ما آن را" بلیط اولیه پرنده "می نامیم ، در مرحله آغازین این قدم اول پرهزینه."

لین و همکاران با جستجوی الگوهای اتصال به شبکه های کلیدی در اوایل آموزش توانستند وجود بلیط های اولیه پرنده را کشف کنند و از آنها برای ساده سازی آموزش DNN استفاده کنند. در آزمایشات روی مجموعه های مختلف داده های محک و مدل های DNN ، لین و همکارانش دریافتند که Early Bird می تواند به اندازه یک دهم یا کمتر از مرحله اولیه آموزش باشد.

لین گفت: "روش ما می تواند بطور خودکار در 10٪ اول یا کمتر از آموزش شبکه های متراکم و غول پیکر ، بلیط های پرنده زودهنگام را شناسایی کند." "این بدان معنی است که شما می توانید برای دستیابی به دقت یکسان یا حتی بهتر برای یک کار معین در حدود 10٪ یا کمتر از زمان مورد نیاز برای آموزش سنتی ، DNN را آموزش دهید ، که می تواند منجر به صرفه جویی در بیش از یک سفارش در هر دو محاسبه و انرژی شود."

توسعه تکنیک ها برای سبز تر کردن AI ، تمرکز اصلی گروه لین است. نگرانی های زیست محیطی انگیزه اصلی است ، اما لین گفت مزایای مختلفی وجود دارد.

پرنده اولیه دانشگاه رایس می تواند کمتر به کرم اهمیت دهد. به دنبال مگاتن انتشار گازهای گلخانه ای است.


Early Bird روشی با کارآیی انرژی برای آموزش شبکه های عصبی عمیق (DNNs) ، شکل هوش مصنوعی (AI) در پشت اتومبیل های رانندگی ، دستیاران هوشمند ، تشخیص چهره و ده ها کاربرد فناوری پیشرفته دیگر است.

محققان دانشگاه A&M رایس و تگزاس از Early Bird در 29 آوریل در مقاله ای توجه در ICLR 2020 ، کنفرانس بین المللی نمایندگی های یادگیری رونمایی کردند . یک مطالعه توسط نویسندگان اصلی Haoran You و Chaojian Li از آزمایشگاه محاسبات کارآمد و هوشمند رایس (EIC) رایس نشان داد که Early Bird می تواند 10.7 برابر انرژی کمتری برای آموزش یک DNN به همان سطح دقت یا بهتر از آموزش معمولی استفاده کند. مدیر آزمایشگاه EIC ، یینگان لین به همراه ریچارد بارانیوک رایس و ژانگ یانگ وانگ تگزاس A&M رهبری این تحقیق را انجام داد.

لین گفت: "یك موتور محرك اصلی در پیشرفت های اخیر در AI ، معرفی DNN های بزرگتر و گران تر است." "اما آموزش این DNN ها انرژی زیادی را می طلبد. برای رونمایی از نوآوری های بیشتر ، ضروری است روشهای آموزش" سبزتر "را پیدا کنید که هم نگرانی های زیست محیطی را برطرف کند و هم موانع مالی تحقیقات هوش مصنوعی را کاهش دهد."

آموزش DNN های بریدگی بسیار پر هزینه و پرهزینه است. یک مطالعه در سال 2019 توسط موسسه آلن برای هوش مصنوعی در سیاتل نشان داد که تعداد محاسبات مورد نیاز برای آموزش یک شبکه عصبی با عمق بالای پرواز بین 300 تا 30000 برابر بین سالهای 2012-2018 افزایش یافته است ، و یک مطالعه متفاوت در سال 2019 توسط محققان دانشگاه ماساچوست آمرست کربن را پیدا کرد. ردپای آموزش یک DNN تک و نخبه تقریباً معادل انتشار دی اکسید کربن در طول عمر پنج خودروی آمریکایی بود.

DNN ها حاوی میلیون ها یا حتی میلیارد ها نورون مصنوعی هستند که یاد می گیرند کارهای تخصصی را انجام دهند. بدون برنامه نویسی صریح ، شبکه های عمیق نورون های مصنوعی می توانند با "مطالعه" تعداد زیادی از نمونه های قبلی تصمیم بگیرند مانند انسانها و حتی از متخصصان انسانی فراتر بروند. به عنوان مثال ، اگر DNN عکس گربه ها و سگ ها را مطالعه کند ، می آموزد که گربه ها و سگ ها را بشناسند. AlphaGo ، یک شبکه عمیق آموزش دیده برای بازی تخته بازی Go ، در سال 2015 پس از مطالعه ده ها هزار بازی که قبلاً بازی کرده بودند ، یک بازیکن انسانی حرفه ای را شکست داد.



لین ، استادیار مهندسی برق و رایانه در دانشکده مهندسی براون رایس گفت: "روش عالی برای انجام آموزش DNN ، هرس و قطار مترقی نامیده می شود." "ابتدا یک شبکه متراکم و غول پیکر را آموزش می دهید ، سپس بخش هایی را که مهم به نظر نمی رسد ، مانند هرس درخت را حذف می کنید. سپس شبکه هرس را مجدداً بازیابی می کنید تا عملکرد را بازیابی کنید زیرا عملکرد پس از هرس خراب می شود. بارها برای به دست آوردن عملکرد خوب. "

هرس ممکن است زیرا تنها بخشی از نورون های مصنوعی موجود در شبکه به طور بالقوه می توانند کار را برای یک کار تخصصی انجام دهند. آموزش ارتباط بین نورونهای لازم را تقویت می کند و نشان می دهد کدام یک از آنها را می توان جدا کرد. هرس اندازه مدل و هزینه محاسباتی را کاهش می دهد و باعث می شود استقرار DNN های کاملا آموزش دیده بویژه در دستگاه های کوچک با حافظه و قابلیت پردازش محدود ، مقرون به صرفه تر باشد.

لین گفت: "اولین قدم ، آموزش شبکه متراکم و غول پیکر ، گران ترین است." "ایده ما در این کار شناسایی مرحله نهایی هرس کامل و کاملاً کاربردی است که ما آن را" بلیط اولیه پرنده "می نامیم ، در مرحله آغازین این قدم اول پرهزینه."

لین و همکاران با جستجوی الگوهای اتصال به شبکه های کلیدی در اوایل آموزش توانستند وجود بلیط های اولیه پرنده را کشف کنند و از آنها برای ساده سازی آموزش DNN استفاده کنند. در آزمایشات روی مجموعه های مختلف داده های محک و مدل های DNN ، لین و همکارانش دریافتند که Early Bird می تواند به اندازه یک دهم یا کمتر از مرحله اولیه آموزش باشد.

لین گفت: "روش ما می تواند بطور خودکار در 10٪ اول یا کمتر از آموزش شبکه های متراکم و غول پیکر ، بلیط های پرنده زودهنگام را شناسایی کند." "این بدان معنی است که شما می توانید برای دستیابی به دقت یکسان یا حتی بهتر برای یک کار معین در حدود 10٪ یا کمتر از زمان مورد نیاز برای آموزش سنتی ، DNN را آموزش دهید ، که می تواند منجر به صرفه جویی در بیش از یک سفارش در هر دو محاسبه و انرژی شود."

توسعه تکنیک ها برای سبز تر کردن AI ، تمرکز اصلی گروه لین است. نگرانی های زیست محیطی انگیزه اصلی است ، اما لین گفت مزایای مختلفی وجود دارد.

نظرات این مطلب

تعداد صفحات : 2

درباره ما
موضوعات
آمار سایت
  • کل مطالب : 6
  • کل نظرات : 0
  • افراد آنلاین : 1
  • تعداد اعضا : 0
  • بازدید امروز : 4
  • بازدید کننده امروز : 1
  • باردید دیروز : 0
  • بازدید کننده دیروز : 0
  • گوگل امروز : 0
  • گوگل دیروز : 0
  • بازدید هفته : 33
  • بازدید ماه : 69
  • بازدید سال : 365
  • بازدید کلی : 3708
  • <
    پیوندهای روزانه
    آرشیو
    اطلاعات کاربری
    نام کاربری :
    رمز عبور :
  • فراموشی رمز عبور؟
  • خبر نامه


    معرفی وبلاگ به یک دوست


    ایمیل شما :

    ایمیل دوست شما :



    کدهای اختصاصی