یادگیری عمیق برای پیش بینی بازار سهام

پیش بینی ارزش گروه های سهام به دلیل پویایی ذاتی ، غیرخطی و ماهیت پیچیده ، همیشه برای سهامداران جذاب و چالش برانگیز بوده است. این مقاله بر پیش بینی آینده گروه های بازار سهام متمرکز شده است. چهار گروه به نام مالی متنوع ، نفت ، مواد معدنی غیر فلزی و فلزات اساسی از بورس اوراق بهادار تهران برای ارزیابی های تجربی انتخاب شدند. داده ها برای گروه ها بر اساس 10 سال سوابق تاریخی جمع آوری شد. پیش بینی های ارزش برای قبل از 1 ، 2 ، 5 ، 10 ، 15 ، 20 و 30 روز ایجاد می شوند. الگوریتم های مختلف یادگیری ماشین برای پیش بینی ارزش های آینده گروه های بورس اوراق بهادار مورد استفاده قرار گرفت. ما از درخت تصمیم گیری ، کیسه زدن ، جنگل تصادفی ، تقویت سازگار (Adaboost) ، تقویت شیب و تقویت شیب شدید (XGBoost) و شبکه های عصبی مصنوعی (ANN) ، شبکه عصبی مکرر (RNN) و حافظه کوتاه مدت طولانی (LSTM) استفاده کردیم. وادده شاخص فنی به عنوان ورودی به هر یک از مدل های پیش بینی انتخاب شدند. سرانجام ، نتایج پیش بینی ها برای هر تکنیک بر اساس چهار معیار ارائه شد. در بین تمام الگوریتم های مورد استفاده در این مقاله ، LSTM نتایج دقیق تری را با بالاترین توانایی اتصالات مدل نشان می دهد. علاوه بر این ، برای مدل های مبتنی بر درخت ، اغلب بین Adaboost ، Boosting Gradient و XGBoost یک رقابت شدید وجود دارد.

1. مقدمه

فرآیند پیش‌بینی ارزش سهام به دلیل ماهیت غیرقابل پیش‌بینی درازمدت، همیشه یک مشکل چالش برانگیز [1] است. فرضیه بازار تاریخ‌دار معتقد است که پیش‌بینی ارزش سهام غیرممکن است و سهام به‌طور تصادفی رفتار می‌کنند، اما تحلیل‌های فنی اخیر نشان می‌دهد که بیشتر ارزش سهام در سوابق قبلی منعکس می‌شود. بنابراین، روند حرکت برای پیش‌بینی مؤثر ارزش‌ها حیاتی است [2]. علاوه بر این، گروه ها و حرکات بازار سهام تحت تأثیر عوامل اقتصادی متعددی از جمله رویدادهای سیاسی، شرایط عمومی اقتصادی، شاخص قیمت کالاها، انتظارات سرمایه گذاران، حرکت سایر بازارهای سهام، روانشناسی سرمایه گذاران و غیره قرار دارند [3]. ارزش گروه های سهام با ارزش بازار بالا محاسبه می شود. پارامترهای فنی مختلفی برای به دست آوردن داده های آماری از ارزش قیمت سهام وجود دارد [4]. به طور کلی، شاخص های سهام از قیمت سهام با سرمایه گذاری در بازار بالا به دست می آیند و اغلب تخمینی از وضعیت اقتصادی هر کشور ارائه می دهند. به عنوان مثال، یافته ها ثابت می کند که رشد اقتصادی کشورها به طور مثبت تحت تأثیر ارزش بازار سهام است [5]. ماهیت حرکت ارزش سهام مبهم است و سرمایه گذاری را برای سرمایه گذاران مخاطره آمیز می کند. علاوه بر این، معمولاً تشخیص وضعیت بازار برای دولت ها دشوار است. در واقع، ارزش سهام به طور کلی پویا، غیر پارامتری، و غیر خطی است. بنابراین، اغلب باعث عملکرد ضعیف مدل‌های آماری و ناتوانی در پیش‌بینی مقادیر و حرکات دقیق می‌شوند [6،7].

تئوری‌های رایج حاکی از آن است که بازارهای سهام اساساً یک حرکت تصادفی هستند، به خصوص وقتی صحبت از بازار سهام ایران می‌شود، که با برخی قوانین قیمت بسته روز قبل همراه است. اکثر روش‌های متداول پیش‌بینی سری‌های زمانی مبتنی بر روندهای ثابت هستند. از این رو پیش بینی قیمت سهام با مشکل ذاتی سروکار دارد. علاوه بر این، پیش بینی قیمت سهام به خودی خود یک مشکل چالش برانگیز به دلیل تعداد متغیرهایی است که درگیر هستند. در کوتاه‌مدت، بازار شبیه به ماشین‌های رای‌گیری رفتار می‌کند، اما در طولانی‌مدت، شبیه ماشین توزین عمل می‌کند و از این رو زمینه برای پیش‌بینی حرکات بازار برای بازه زمانی طولانی‌تر وجود دارد [8]. یادگیری ماشینی (ML) قدرتمندترین ابزاری است که شامل الگوریتم های مختلف برای توسعه موثر عملکرد آنها در یک مطالعه موردی خاص است. این یک باور رایج است که ML توانایی قابل توجهی در شناسایی اطلاعات معتبر و شناسایی الگوها از مجموعه داده دارد [9]. برخلاف روش‌های سنتی در ناحیه ML، مدل‌های مجموعه یک روش مبتنی بر یادگیری ماشینی هستند که در آن از برخی الگوریتم‌های رایج برای حل یک مشکل خاص استفاده می‌شود، و تایید شده است که عملکرد بهتری از هر یک از روش‌ها در هنگام پیش‌بینی سری‌های زمانی دارند. 10،11،12]. برای مشکلات پیش‌بینی در حوزه یادگیری ماشین، تقویت و بسته‌بندی الگوریتم‌های مؤثر و محبوبی در میان روش‌های مجموعه هستند. اخیراً پیشرفت‌هایی در مدل‌های مبتنی بر درخت با معرفی الگوریتم‌های تقویت گرادیان و XGBoost وجود دارد که به طور قابل توجهی توسط دانشمندان برتر داده در مسابقات به کار گرفته شده‌اند. در واقع، یک روند مدرن در ML، که یادگیری عمیق (DL) نامیده می شود، می تواند یک توپولوژی غیرخطی عمیق را در ساختار خاص خود در نظر بگیرد و توانایی عالی از سری زمانی مالی برای استخراج اطلاعات مربوطه را دارد [13]. برخلاف یک شبکه عصبی مصنوعی ساده، شبکه های عصبی بازگشتی (RNN) به دلیل عملکرد عالی خود به موفقیت قابل توجهی در حوزه مالی دست یافته اند [14،15]. واضح است که فرآیند پیش‌بینی بازار سهام تنها به اطلاعات فعلی مربوط نمی‌شود، بلکه داده‌های اولیه نقش حیاتی دارند، بنابراین در صورت استفاده از داده‌ها در آخرین زمان، آموزش کافی نخواهد بود. RNN می تواند از شبکه برای حفظ حافظه رویدادهای اخیر و ایجاد ارتباط بین هر واحد از یک شبکه استفاده کند، بنابراین برای پیش بینی های اقتصادی کاملاً مناسب است [16،17]. حافظه کوتاه مدت بلند مدت (LSTM) یک زیر مجموعه بهبود یافته از روش RNN است که در حوزه یادگیری عمیق استفاده می شود.

LSTM دارای سه گیت مختلف برای رفع مشکلات سلول‌های RNN است و همچنین می‌تواند نقاط داده یا توالی کامل داده را پردازش کند.

در زمینه های دانشگاهی ، مطالعات زیادی در مورد روش های پیش بینی بازار انجام شده است. لانگ و همکاران.[18] یک مدل شبکه عصبی عمیق با داده های بازار عمومی و سوابق معامله را برای ارزیابی حرکت قیمت سهام بررسی کرد. نتایج تجربی نشان داد که LSTM دو طرفه می تواند قیمت سهام برای تصمیمات مالی را پیش بینی کند و این روش در مقایسه با سایر مدلهای پیش بینی بهترین عملکرد را به دست آورد. پانگ و همکاران.[19] سعی در بهبود یک روش نوآورانه شبکه عصبی برای به دست آوردن پیش بینی بهتر بازار سهام. آنها LSTM را با یک لایه تعبیه شده و LSTM با یک رمزگذار اتوماتیک برای ارزیابی حرکت بازار سهام پیشنهاد کردند. نتایج نشان داد که LSTM عمیق با لایه تعبیه شده بهتر از عملکرد و دقت مدل برای شاخص کامپوزیت شانگهای به ترتیب 57. 2 ٪ و 56. 9 ٪ است. Kelotra و Pandey [20] از مدل LSTM عمیق Convolutional به عنوان پیش بینی کننده برای بررسی مؤثر حرکات بازار سهام استفاده کردند. این مدل با یک الگوریتم بهینه سازی پروانه سلطنت مبتنی بر سوار آموزش داده شد و آنها به حداقل MSE و RMSE 7. 2487 و 2. 6923 رسیدند. Bouktif و همکاران.[21] پیش بینی جهت روند روند بورس را با روش بهبود یافته تجزیه و تحلیل احساسات بررسی کرد. به عنوان نتیجه نهایی ، روش پیشنهادی به اندازه کافی بهتر عمل کرده و روند سهام را با دقت بالاتر 60 ٪ در مقایسه با سایر روشهای پیش بینی بازار سهام مبتنی بر احساسات شامل یادگیری عمیق پیش بینی می کند. Zhong و Enke [22] داده های جامع بزرگی از SPDR S& P 500 ETF را برای ارزیابی جهت بازگشت با 60 ویژگی اقتصادی و مالی ارائه دادند. شبکه های عصبی عمیق و شبکه های عصبی مصنوعی (ANN) از طریق تجزیه و تحلیل مؤلفه اصلی (PCA) برای پیش بینی آینده روزانه بازده شاخص بازار سهام استفاده شدند. نتایج نشان داد که شبکه های عصبی عمیق به عنوان طبقه بندی کننده بر اساس داده های ارائه شده با PCA نسبت به دیگران برتر بودند. داس و همکاران.[23] با در نظر گرفتن جنبه های اجتماعی و بیوشیمیایی روش کرم شب تاب ، بهینه سازی ویژگی را پیاده سازی کرد. در رویکرد آنها ، آنها شامل انتخاب ارزش عینی در زمینه تکاملی بودند. نتایج نشان داد که Firefly ، با یک چارچوب تکاملی که برای روش پیش بینی دستگاه یادگیری شدید متوالی (OSELM) اعمال می شود ، بهترین مدل در بین سایر آزمایشات است. Hoseinzade و Haratizadeh [24] چارچوب شبکه های عصبی حلقوی (CNNS) را پیشنهاد کردند ،

که می تواند برای جمع آوری داده های مختلف (شامل بازارهای مختلف) برای کشف ویژگی های پیش بینی حرکت آینده بازارها اعمال شود. از نتایج ، بهبود چشمگیر در عملکرد پیش بینی در مقایسه با سایر روشهای پایه اخیر حاصل شد. کریشنا کومار و هایدر [25] عملکرد طبقه بندی کننده های منفرد را با یک طبقه بندی چند سطحی مقایسه کردند ، که ترکیبی از تکنیک های یادگیری ماشین بود (مانند درخت تصمیم گیری ، دستگاه بردار پشتیبانی و طبقه بندی رگرسیون لجستیک). نتایج تجربی نشان داد که طبقه بندی کننده های چند سطحی از سایر آثار بهتر عمل می کنند و منجر به یک مدل دقیق تر با بهترین توانایی پیش بینی کننده ، تقریباً 10 تا 12 ٪ عدم دقت رشد می شوند. چونگ و شین [26] برای پیش بینی حرکت بازار سهام یکی از روشهای عمیق یادگیری (CNN) را به کار بردند. علاوه بر این ، از الگوریتم ژنتیکی (GA) برای بهینه سازی پارامترهای روش CNN به طور سیستماتیک استفاده شد ، و نتایج نشان داد که GA-CNN از مدل های مقایسه ای به عنوان روش ترکیبی GA و CNN بهتر عمل می کند. سیم و همکاران.[27] CNN را برای پیش بینی قیمت سهام به عنوان یک روش یادگیری جدید پیشنهاد کرد. این مطالعه با هدف حل دو مشکل ، با استفاده از CNN ها و بهینه سازی آنها برای داده های بازار سهام انجام شد. ون و همکاران.[28] الگوریتم CNN را بر روی سری زمانی پر سر و صدا با الگوهای مکرر به عنوان یک روش جدید اعمال کرد. نتایج ثابت کرد که این روش به اندازه کافی مؤثر بوده و روشهای فرآیند سنتی سیگنال با بهبود دقت 4 تا 7 ٪ بهتر است.

Rekha و همکاران.[29] CNN و RNN را برای مقایسه بین نتایج دو الگوریتم و نتایج واقعی از طریق داده های بازار سهام به کار گرفت. لی و همکاران.[30] از CNN ها برای پیش بینی بازار سهام جهانی استفاده کرد و سپس مدل خود را با داده های سایر کشورها آموزش و آزمایش کرد. نتایج نشان داد که این مدل می تواند بر روی داده های نسبتاً بزرگ آموزش داده شود و در بازارهای کوچک که در آن داده های کافی وجود ندارد ، آزمایش شود. لیو و همکاران.[31] یک روش توجه مبتنی بر عددی را با داده های بازار سهام دوگانه برای یافتن مکمل بین داده های عددی و اخبار در پیش بینی قیمت سهام بررسی کرد. در نتیجه ، این روش صداهای فیلتر شده را به طور مؤثر و از مدل های قبلی در پیش بینی سهام منابع دوگانه استفاده می کند. Baek و Kim [32] رویکردی را برای پیش بینی شاخص بورس سهام ارائه دادند ، که شامل یک ماژول LSTM پیش بینی و یک ماژول LSTM پیشگیری بیش از حد بود. نتایج تأیید کرد که مدل پیشنهادی نسبت به یک مدل بدون ماژول LSTM پیشگیری بیش از حد ، دقت پیش بینی عالی را دارد. چانگ و شین [33] از یک رویکرد ترکیبی LSTM و GA برای بهبود یک مدل پیش بینی بازار سهام جدید استفاده کردند. نتایج نهایی نشان داد که مدل ترکیبی شبکه LSTM و GA در مقایسه با مدل معیار برتر است. چن و همکاران.[34] از سه شبکه عصبی ، شبکه عصبی عملکرد شعاعی ، دستگاه یادگیری شدید و سه شبکه عصبی مصنوعی سنتی استفاده کرد تا عملکرد آنها را در داده های با فرکانس بالا در بورس ارزیابی کند. نتایج آنها حاکی از آن است که روشهای یادگیری عمیق داده های معامله را از ویژگی های غیرخطی دریافت کرده و می تواند آینده بازار را با قدرت پیش بینی کند. ژو و همکاران.[35] LSTM و CNN را در داده های با فرکانس بالا از بازار سهام با رویکرد آموزش و آزمایش پارتیشن رول برای ارزیابی اثر چرخه بروزرسانی بر عملکرد مدل ها اعمال کرد. بر اساس نتایج تجربی گسترده ، مدل ها می توانند به طور مؤثر خطاها را کاهش داده و دقت پیش بینی را افزایش دهند. چونگ و همکاران.[36] سعی کرد عملکرد الگوریتم های یادگیری عمیق را برای پیش بینی بازار سهام با سه روش استخراج ویژگی بدون نظارت ، PCA ، دستگاه محدود بولتزمن و رمزگذار خودکار بررسی کند. نتایج نهایی با پیشرفت قابل توجه نشان می دهد که می توان اطلاعات اضافی را توسط شبکه های عصبی عمیق از مدل خودجوش استخراج کرد.

لانگ و همکاران[37] یک مدل ابتکاری سرتاسر به نام شبکه عصبی چند فیلتری (MFNN) را به طور خاص برای کار پیش‌بینی قیمت و استخراج ویژگی در داده‌های سری زمانی مالی پیشنهاد کرد. نتایج آنها نشان داد که شبکه از نظر دقت، پایداری و سودآوری از روش‌های رایج یادگیری ماشین، مدل‌های آماری، و شبکه‌های کانولوشنی، تکراری و LSTM بهتر عمل می‌کند. مووز و همکاران[38] استفاده از شبکه های عصبی عمیق را پیشنهاد کرد که از رگرسیون خطی گام به گام در مهندسی ویژگی های مقدماتی با هموارسازی نمایی برای این کار، با شیب های رگرسیون به عنوان شاخص های قدرت حرکت برای یک بازه زمانی مشخص استفاده می کنند. نتایج نهایی امکان‌سنجی روش پیشنهادی را با دقت‌های پیشرفته و حسابداری برای اهمیت آماری نتایج برای اعتبار سنجی اضافی و همچنین پیامدهای برجسته برای اقتصاد مدرن نشان داد. گارسیا و همکاران[39] تأثیر شاخص‌های مالی بر شاخص سهام DAX-30 آلمان را با استفاده از یک شبکه عصبی فازی ترکیبی برای پیش‌بینی جهت یک روزه شاخص با روش‌های مختلف بررسی کرد. کارهای تجربی آنها نشان داد که کاهش ابعاد از طریق تحلیل عاملی، استراتژی‌های پرخطر و سود کمتری را تولید می‌کند. Cervelló-Royo و Guijarro [40] عملکرد چهار مدل یادگیری ماشین را برای اعتبارسنجی قابلیت پیش‌بینی شاخص‌های فنی در شاخص NASDAQ تکنولوژیکی مقایسه کردند. نتایج نشان داد که جنگل تصادفی بهتر از سایر مدل‌های در نظر گرفته شده در مطالعه خود عمل می‌کند و قادر به پیش‌بینی حرکت بازار 10 روزه با دقت نرمال 80 درصد است. کنستانتینوس و همکاران[41] یک روش ترکیبی پیش‌بینی گروهی را به عنوان یک رویکرد جایگزین برای سری‌های زمانی پیش‌بینی پیشنهاد کرد. تکنیک یادگیری گروهی مدل‌های یادگیری مختلف را با هم ترکیب کرد. نتایج آن‌ها نشان‌دهنده اثربخشی روش یادگیری گروهی پیشنهادی بود، و تحلیل مقایسه‌ای شواهد کافی را نشان داد که این روش می‌تواند با موفقیت برای انجام پیش‌بینی بر اساس مسائل سری زمانی چند متغیره استفاده شود.

به طور کلی، همه محققان بر این باورند که پیش‌بینی و مدل‌سازی قیمت سهام به دلیل ویژگی‌های نویزدار و غیر ثابت داده‌ها، مشکلات چالش برانگیزی برای مطالعه و سفته‌بازان بوده است. بین مقالات انتخاب موثرترین شاخص ها برای مدل سازی و پیش بینی آینده بازارهای سهام تفاوت جزئی وجود دارد. انتخاب ویژگی می تواند بخش مهمی از مطالعات برای دستیابی به دقت بهتر باشد. با این حال، همه مطالعات نشان می دهد که عدم قطعیت بخشی ذاتی از این وظایف پیش بینی به دلیل متغیرهای اساسی است. استفاده از روش‌های جدید یادگیری ماشینی و یادگیری عمیق مانند مدل‌های اخیر یادگیری گروهی، CNN و RNN با قابلیت پیش‌بینی بالا، مزیت قابل توجه مطالعات اخیر است که پتانسیل پیش‌بینی این روش‌ها را در مقایسه با رویکردهای سنتی و رایج مانند تحلیل‌های آماری نشان می‌دهد.

بازار سهام ایران اخیراً به دلیل رشد روزافزون شاخص سود سهام و قیمت بورس تهران-TEDPIX در دهه‌های اخیر از محبوبیت بالایی برخوردار بوده است و یکی از دلایل آن این است که اکثر شرکت‌های دولتی تحت سیاست‌های کلی در حال خصوصی‌سازی هستند. اصل 44 قانون اساسی ایران و مردم در شرایط خاص مجاز به خرید سهام شرکت های تازه خصوصی شده هستند. این بازار در مقایسه با بازارهای سهام سایر کشورها دارای ویژگی های خاصی است که یکی از آنها محدودیت قیمتی 5± درصد قیمت افتتاحیه روز برای هر شاخص است. این موضوع مانع از نوسانات غیرعادی بازار می شود و شوک های بازار، مسائل سیاسی و غیره را در یک زمان مشخص پراکنده می کند و می تواند بازار را روان تر و قابل پیش بینی تر کند. معامله از طریق کارگزاران خصوصی دارای مجوز سازمان بورس انجام می شود و قیمت افتتاحیه روز بعد از طریق حجم مبنا و حجم معاملات تعیین شده شرکت ها می باشد. با این حال، کمبود مقالات ارزشمند در این بازار برای پیش‌بینی ارزش‌های آینده با مدل‌های یادگیری ماشین واضح است.

این مطالعه بر روند پیش بینی ارزش آینده برای گروه های بورس ، که برای سرمایه گذاران بسیار مهم است ، متمرکز شده است. با وجود توسعه چشمگیر در بازار سهام ایران در سالهای اخیر ، تحقیقات کافی در مورد پیش بینی قیمت سهام و حرکات با استفاده از روش های جدید یادگیری ماشین انجام نشده است. این مقاله با هدف مقایسه عملکرد برخی از رگرسیونرها که بر روی داده های نوسان برای ارزیابی مدل های پیش بینی کننده اعمال می شود ، و پیش بینی ها قبل از 1 ، 2 ، 5 ، 10 ، 15 ، 20 و 30 روز ارزیابی می شوند. علاوه بر این ، با پارامترهای تنظیم ، سعی می کنیم خطاها را کاهش داده و دقت مدل ها را افزایش دهیم.

مدل های یادگیری گروه امروزه به دلیل پیشرفت عملکرد پیش بینی کننده آن به طور گسترده ای به کار می روند. این روشها پیش بینی های متعدد از یک یا چند روش را برای بهبود صحت پیش بینی ساده و جلوگیری از مشکلات احتمالی بیش از حد ترکیب می کنند. علاوه بر این ، ANN ها تقریبی جهانی و چارچوب های محاسباتی انعطاف پذیر هستند که می توانند در طیف گسترده ای از سری های زمانی استفاده شوند که مشکلات را با درجه بسیار زیادی از دقت پیش بینی می کند. بنابراین ، با در نظر گرفتن بررسی ادبیات ، این کار تحقیق پیش بینی مجموعه ای از روشهای یادگیری ماشین برش را بررسی می کند ، که شامل مدل های مبتنی بر درخت و روشهای یادگیری عمیق است. استفاده از کل روشهای مبتنی بر درخت ، RNN و تکنیک های LSTM برای مشکلات رگرسیون و مقایسه عملکرد آنها در بورس اوراق بهادار تهران یک فعالیت تحقیقاتی اخیر است که در این مطالعه ارائه شده است. این مقاله شامل سه بخش مختلف است. در ابتدا ، از طریق بخش متدولوژی ، تکامل مدل های مبتنی بر درخت با معرفی هر یک ارائه می شود. علاوه بر این ، ساختار اساسی شبکه های عصبی و نمونه های مکرر به طور خلاصه شرح داده شده است. در بخش داده های تحقیق ، 10 شاخص فنی با پارامترهای روش انتخاب شده به تفصیل نشان داده شده است. در مرحله آخر ، پس از معرفی سه معیار رگرسیون ، نتایج یادگیری ماشین برای هر گروه گزارش می شود و رفتار مدل مقایسه می شود.

2. مواد و روشها

2. 1مدل های مبتنی بر درخت

از آنجا که مجموعه ای از قوانین تقسیم شده برای تقسیم متفاوت فضای پیش بینی کننده را می توان در یک درخت خلاصه کرد ، این نوع مدل ها به عنوان روش های درخت تصمیم گیری شناخته می شوند. شکل 1 ، اقتباس از [42،43] تکامل الگوریتم های مبتنی بر درخت را در طی چند سال نشان می دهد و بخش های زیر آنها را معرفی می کند.

درختان تصمیم گیری یک تکنیک یادگیری تحت نظارت محبوب است که برای طبقه بندی و مشاغل رگرسیون استفاده می شود. هدف این است که با یادگیری قوانین تصمیم گیری آسان از ویژگی های داده ، یک مدل را پیش بینی کنید. برخی از مزایای استفاده از این روش وجود دارد ، مانند درک و تفسیر آن آسان است یا قادر به ایجاد مشکلات مربوط به چند موقعیت است. در مقابل ، ایجاد درختان بیش از حد پیچیده که منجر به بیش از حد می شوند ، یک نقطه ضعف نسبتاً متداول است. یک تصویر شماتیک از درخت تصمیم گیری در شکل 2 نشان داده شده از [43].

یک مدل کیف کننده (به عنوان یک مدل رگرسیون) یک برآوردگر گروه است که متناسب با هر رگرسیون اساسی در زیر مجموعه های تصادفی مجموعه داده ها و بعدی پیش بینی های تک آنها را ، چه با رأی گیری و چه با میانگین ، جمع می کند تا پیش بینی نهایی را انجام دهد. این روش یک متاكاتور است و معمولاً می تواند به عنوان رویکردی برای كاهش واریانس یك برآوردگر مانند درخت تصمیم گیری با استفاده از تصادفی در روش ساخت و ساز و سپس ایجاد یك گروه از آن استفاده شود. در این روش ، نمونه ها با جایگزینی و پیش بینی ها ترسیم شده و از طریق مکانیسم رای گیری اکثریت به دست می آیند.

مدل جنگل تصادفی توسط تعداد زیادی از درختان تصمیم گیری ایجاد می شود. این روش به سادگی نتیجه پیش بینی درختان را که جنگل نامیده می شود ، میانگین می کند. علاوه بر این ، این مدل دارای سه مفهوم تصادفی است. به طور تصادفی انتخاب داده های آموزش هنگام ساخت درختان ، انتخاب برخی از زیر مجموعه های ویژگی ها هنگام تقسیم گره ها ، و در نظر گرفتن فقط یک زیر مجموعه از همه ویژگی ها برای تقسیم هر گره در هر درخت تصمیم ساده. در طول آموزش داده ها در یک جنگل تصادفی ، هر درخت از یک نمونه تصادفی از نقاط داده می آموزد. یک تصویر شماتیک از جنگل تصادفی ، اقتباس از [43] ، در شکل 3 نشان داده شده است.

روش تقویت به گروهی از الگوریتم ها اشاره دارد که زبان آموزان ضعیف را به یک یادگیرنده قدرتمند تبدیل می کند. این روش یک گروه برای توسعه پیش بینی های مدل از هر الگوریتم یادگیری است. مفهوم تقویت این است که به طور متوالی یادگیرندگان ضعیف را برای اصلاح عملکرد گذشته خود آموزش دهید. ADABOOST یک متایمور است که با قرار دادن یک مدل در مجموعه داده اصلی شروع می شود و سپس نسخه های اضافی مدل را در یک مجموعه داده مشابه قرار می دهد. در طی فرایند ، وزن نمونه ها بر اساس خطای پیش بینی فعلی سازگار می شوند ، بنابراین مدل های بعدی بیشتر روی موارد دشوار تمرکز می کنند. روش تقویت شیب شبیه به Adaboost است که به طور متوالی پیش بینی کننده ها را به یک مدل گروه اضافه می کند ، هر یک از آنها عملکرد گذشته خود را اصلاح می کنند. در مقابل با Adaboost ، تقویت شیب متناسب با پیش بینی کننده جدید خطاهای باقیمانده (ساخته شده توسط پیش بینی کننده قبلی) با استفاده از نزول شیب برای یافتن شکست در پیش بینی های یادگیرنده قبلی است. به طور کلی ، مدل نهایی قادر به استفاده از مدل پایه برای کاهش خطاها در طول زمان است.

XGBoost یک روش درخت گروهی است (شبیه به تقویت شیب) و این روش اصل تقویت برای زبان آموزان ضعیف را اعمال می کند. با این حال ، XGBoost برای سرعت و عملکرد بهتر معرفی شد. توانایی اعتبار سنجی متقابل داخلی ، کارآمد داده های مفقود شده ، منظم سازی برای جلوگیری از بیش از حد ، آگاهی گرفتن ، هرس درخت و ایجاد درخت موازی از مزایای رایج الگوریتم XGBOOST است.

2. 2شبکه های عصبی مصنوعی

ANN ها شبکه های عصبی مجرد یا چند لایه هستند که کاملاً به هم وصل شده اند. شکل 4 نمونه ای از ANN را با یک لایه ورودی و خروجی و همچنین دو لایه پنهان ، اقتباس از [43] نشان می دهد. در یک لایه ، هر گره به هر گره دیگر در لایه بعدی وصل می شود. با افزایش تعداد لایه های پنهان ، می توان شبکه را عمیق تر کرد.₁, X₂شکل 5 برای هر یک از گره های پنهان یا خروجی نشان داده شده است ، در حالی که یک گره مقدار وزنی ورودی را می گیرد ، به مقدار تعصب اضافه می شود و آن را از طریق یک عملکرد فعال سازی (معمولاً یک عملکرد غیر خطی) می گذرد. نتیجه خروجی گره است که به یک ورودی گره دیگر برای لایه بعدی تبدیل می شود. این روش از ورودی به خروجی منتقل می شود و خروجی نهایی با انجام این فرآیند برای همه گره ها تعیین می شود. فرایند یادگیری وزنه ها و تعصبات مرتبط با همه گره ها برای آموزش شبکه عصبی.₁, w₂معادله (1) رابطه بین گره ها ، وزن ها و تعصبات را نشان می دهد [44]. مقدار وزنی ورودی برای یک لایه که از طریق یک تابع فعال سازی غیر خطی به یک گره دیگر در لایه بعدی منتقل می شود. می توان آن را به عنوان یک بردار تعبیر کرد ، جایی که x_n، ... ، و Xn ورودی ها ، W

، ... ، و W

به ترتیب وزنه ها هستند ، n تعداد ورودی برای گره نهایی ، F عملکرد فعال سازی و z خروجی است.

با محاسبه وزن/تعصب ، فرایند آموزش توسط برخی از قوانین به پایان می رسد: وزن ها/تعصبات را برای همه گره ها به طور تصادفی انجام دهید ، انجام یک پاس رو به جلو توسط وزن/تعصب فعلی و محاسبه هر خروجی گره ، مقایسه خروجی نهایی با هدف واقعی، و اصلاح وزن/تعصب در نتیجه با نزول شیب با پاس عقب ، که عموماً به عنوان الگوریتم backpropagation شناخته می شود.

RNN یک نسخه بسیار برجسته از شبکه های عصبی است که به طور گسترده در فرآیندهای مختلف مورد استفاده قرار می گیرد. در یک شبکه عصبی مشترک ، ورودی از طریق چندین لایه پردازش می شود و خروجی انجام می شود. فرض بر این است که دو ورودی متوالی مستقل از یکدیگر هستند. با این حال ، وضعیت در همه فرآیندها صحیح نیست. به عنوان مثال ، برای پیش بینی بازار سهام در یک زمان خاص ، در نظر گرفتن مشاهدات قبلی بسیار مهم است._t, h_t, x_tRNN ساده دارای چندین نورون برای ایجاد شبکه است. هر نورون دارای یک تابع فعال سازی متغیر است و هر اتصال بین گره ها دارای یک وزن واقعی است که می تواند در هر مرحله اصلاح شود. طبق معماری عمومی ، خروجی گره (در زمان t - 1) به ورودی (در زمان t) منتقل می شود و داده های خود (در زمان t) را اضافه می کند تا خروجی (در زمان t) را انجام دهد. به طور مکرر از گره نورون برای جریان چندین عنصر گره برای ایجاد RNN استفاده می کند. شکل 6 ، اقتباس از [43] معماری ساده RNN را نشان می دهد. علاوه بر این ، معادلات (2) و (3) فرمول های بازگشتی RNN را نشان می دهد [45]._hجایی که

، و W_t−1وکتور خروجی ، بردار لایه پنهان ، بردار ورودی و ماتریس وزنه برداری به ترتیب_tLSTM یک نوع خاص از RNN با طیف گسترده ای از برنامه های کاربردی مشابه با تجزیه و تحلیل سری زمانی ، طبقه بندی اسناد ، گفتار و تشخیص صدا است. در مقابل با ANN های خوراک ، پیش بینی های انجام شده توسط RNN ها به تخمین های قبلی بستگی دارد. در واقع ، RNN ها به طور گسترده ای به کار نمی روند زیرا چند کمبود دارند که باعث ارزیابی غیر عملی می شوند. تفاوت بین LSTM و RNN در این است که هر نورون در LSTM یک سلول حافظه است. LSTM اطلاعات قبلی را به نورون فعلی پیوند می دهد. هر نورون دارای سه دروازه است (دروازه ورودی ، دروازه فراموش و دروازه خروجی). توسط دروازه داخلی ، LSTM قادر به حل مسئله وابستگی طولانی مدت داده ها است. معماری LSTM شامل گیت ، دروازه ورودی و دروازه خروجی است. Gate Gate اطلاعات دور را از سلول دور می کند و معادلات (4) و (5) فرمول های مرتبط با آن را نشان می دهد که H_tخروجی در زمان قبلی (t - 1) و x است_tورودی در زمان فعلی (t) به عملکرد سیگموئید (S (t)) است. همه W و B ماتریس های وزنی و بردارهای تعصب هستند که باید در طی فرایند آموزش آموخته شوند. f_t−1تعیین می کند که چه مقدار اطلاعات به یاد می آورند یا فراموش می شوند. دروازه ورودی تعریف می کند که اطلاعات جدید را در حالت سلولی توسط معادلات (5) - (7) به خاطر می آورد. ارزش من_t). C_tبرای تعیین میزان نیاز به وضعیت سلول اطلاعات جدید تولید می شود. یک تابع TANH با وارد کردن خروجی یک پیام انتخاباتی به دست می آورد تا به حالت سلول اضافه شود (H_t) در زمان قبل (t - 1) و اضافه کردن اطلاعات ورودی زمان فعلی t (x_tاطلاعات به روز شده ای را که باید به حالت سلول اضافه شود (معادله (8)) دریافت می کند. دروازه خروجی مشخص می کند که کدام اطلاعات در حالت سلول خروجی خواهد بود. مقدار o