+
Backtesting डाटा खनन बाजार geeks / लेख / 002_BacktestingDatamining. php / Backtesting डाटा खनन इस लेख में हम व्यापक रूप से backtesting और डाटा माइनिंग बुलाया व्यापारियों द्वारा इस्तेमाल किया जाता है कि दो से संबंधित प्रथाओं पर एक नज़र रखेंगे। लेकिन इन व्यापारियों अक्सर उन्हें दुरुपयोग, हम उन्हें सही ढंग से उपयोग करते हैं तो शक्तिशाली और मूल्यवान हैं कि तकनीक हैं। इसलिए, हम भी कई परिकल्पना समस्या और overfitting और कैसे इन कमियों को दूर करने के रूप में जाना जाता है इन तकनीकों के दो आम नुकसान का पता लगाने देंगे। Backtesting Backtesting कुछ व्यापारिक रणनीति के प्रदर्शन का परीक्षण करने के लिए ऐतिहासिक डेटा का उपयोग करने का सिर्फ एक प्रक्रिया है। Backtesting आम तौर पर हम यह औसत बढ़ रहा है और यह है कि औसत से नीचे पार की बिक्री 20 दिन से ऊपर पार जब पाउंड / अमरीकी डालर खरीदने उदाहरण के लिए, परीक्षण करना चाहते हैं कि एक रणनीति के साथ शुरू होता है। अब हम बाजार आगे जा रहा है क्या देख कर उस रणनीति का परीक्षण कर सकता है, लेकिन यह एक लंबा समय लग जाएगा। हम पहले से ही उपलब्ध है कि ऐतिहासिक डेटा का उपयोग यही कारण है। & Quot; लेकिन रुकिए, इंतजार है & quot; मैं आप को कहते सुना। & Quot; आप धोखा नहीं कर सका या आप पहले से ही अतीत में क्या हुआ पता है क्योंकि कम से कम पक्षपातपूर्ण हो? & Quot; एक वैध backtest हम ऐतिहासिक डेटा के साथ परिचित नहीं हैं, जिसमें से एक हो जाएगा तो यही है, निश्चित रूप से चिंता का विषय है। हम यादृच्छिक समय अवधि का चयन करके या परीक्षा का संचालन करने के लिए है, जिसमें कई अलग अलग समय अवधि का चयन करके यह पूरा कर सकते हैं। अब मैं एक और कह रही है कि आप के समूह & quot सुन सकते हैं, लेकिन लगता है कि सभी ऐतिहासिक डेटा सिर्फ यह नहीं है, आकर्षक है विश्लेषण किया जा करने के लिए इंतजार कर वहाँ बैठे? हो सकता है कि यह खोज करने के लिए सिर्फ हमारे जैसे geeks के लिए इंतज़ार कर रही है कि डेटा में गहरा रहस्य हैं। हमें, पहली बार है कि ऐतिहासिक डेटा की जांच करने के लिए यह विश्लेषण और हम इसे भीतर छिपा पैटर्न मिल सकता है देखते & quot के लिए यह बहुत गलत हो सकता है; यह तर्क भी मान्य है, लेकिन यह खतरे से भरा एक क्षेत्र में जाता है। डाटा खनन की दुनिया डेटा माइनिंग डाटा माइनिंग पैटर्न का पता लगाने और चर के बीच संभव सहसंबंध को खोजने के क्रम में डेटा के माध्यम से खोज शामिल है। औसत रणनीति चलती 20 दिन से जुड़े उपरोक्त उदाहरण में, हम सिर्फ नीले रंग से बाहर है कि विशेष रूप सूचक के साथ आया था, लेकिन हम परीक्षण करना चाहता था रणनीति किस प्रकार पता नहीं था लगता है? डेटा खनन के काम में आता है कि जब। हम यह कई अलग अलग चलती औसत को पार करने के बाद कीमत व्यवहार कैसे देखने के लिए पाउंड / अमरीकी डालर पर हमारे ऐतिहासिक डेटा के माध्यम से खोज सकते हैं। हम के रूप में अच्छी तरह से संकेतक के कई अन्य प्रकार के खिलाफ कीमत आंदोलनों की जांच और बड़ी कीमत आंदोलनों के अनुरूप हैं जो लोगों को देख सकता था। आगे की & quot देख, मैं यह ऊपर चर्चा के रूप में धोखाधड़ी या 'की तरह एक सा लगता है, क्योंकि डेटा खनन का विषय विवादास्पद हो सकता है; डेटा में। डेटा खनन के लिए एक वैध वैज्ञानिक तकनीक है? अन्वेषण & quot; एक ओर वैज्ञानिक विधि हम पहली बार एक परिकल्पना करते हैं और फिर हमारे डेटा के खिलाफ यह परीक्षण करने के लिए माना जाता है, लेकिन दूसरी ओर यह कुछ है & quot ऐसा करने के लिए उपयुक्त लगता है कर रहे हैं का कहना है कि; डेटा के पहले के आदेश में एक परिकल्पना के लिए सुझाव है। तो ठीक है, जो है? हम भ्रम के स्रोत के लिए एक सुराग के लिए वैज्ञानिक विधि में कदम पर देख सकते हैं। सामान्य तौर पर इस प्रक्रिया को इस तरह दिखता है: अवलोकन (डेटा) & gt; & gt; & gt; परिकल्पना & gt; & gt; & gt; भविष्यवाणी & gt; & gt; & gt; प्रयोग (डेटा) हम दोनों अवलोकन और प्रयोग चरणों के दौरान डेटा के साथ सौदा कर सकते हैं कि सूचना। इसलिए दोनों के विचारों सही कह रहे हैं। हम एक समझदार परिकल्पना बनाने के क्रम में डेटा का उपयोग करना चाहिए, लेकिन हम भी डेटा का उपयोग कर कि परिकल्पना का परीक्षण। चाल डेटा के दो सेट में ही नहीं हैं कि यह सुनिश्चित करने के लिए बस है! हम हमारी परिकल्पना सुझाव देने के लिए इस्तेमाल किया है कि डेटा का एक ही सेट का उपयोग कर हमारी परिकल्पना का परीक्षण कभी नहीं करना चाहिए। आप रणनीति विचारों के साथ आने के क्रम में डेटा खनन का उपयोग करता है, तो दूसरे शब्दों में, आप उन विचारों backtest करने के लिए डेटा का एक अलग सेट का उपयोग सुनिश्चित करें। अब हम डेटा का उपयोग खनन और गलत तरीके से backtesting का मुख्य नुकसान के लिए हमारे ध्यान बदल देंगे। सामान्य समस्या है & quot के रूप में जाना जाता है, अधिक अनुकूलन & quot; और मैं दो अलग प्रकार में समस्या यह है कि नीचे तोड़ने के लिए पसंद करते हैं। ये कई परिकल्पना समस्या और overfitting हैं। एक मायने में वे एक ही त्रुटि बनाने के विपरीत तरीके हैं। कई परिकल्पना समस्या overfitting एक बहुत ही जटिल परिकल्पना का निर्माण शामिल है, जबकि कई सरल परिकल्पनाओं चुनने शामिल है। एकाधिक हाइपोथीसिस समस्या इस समस्या पैदा होती है कि कैसे को देखने के लिए, हम औसत रणनीति चलती 20 दिन backtested जहां की पीठ हमारे उदाहरण के लिए चलते हैं। हम ऐतिहासिक बाजार के आंकड़ों और लो के दस साल के खिलाफ रणनीति backtest मान लीजिए कि और लगता है क्या निहारना करते हैं? परिणाम बहुत उत्साहजनक नहीं हैं। हालांकि, हम कर रहे हैं के रूप में किसी न किसी प्रकार के व्यापारियों से किया जा रहा है, हम इतनी आसानी से हार तय नहीं है। क्या एक दिन में दस चल औसत के बारे में? यही कारण है कि एक छोटे से बेहतर बाहर काम करते हैं, तो हम यह backtest चलो हो सकता है! हम एक और backtest चलाने के लिए और हम परिणाम अभी भी तारकीय नहीं कर रहे हैं कि लगता है, लेकिन वे 20 दिन के परिणामों की तुलना में थोड़ा बेहतर कर रहे हैं। हम एक छोटे से पता लगाने और 5 दिन और 30 दिन की चल औसत के साथ इसी तरह के परीक्षण चलाने का फैसला। अंत में यह हम वास्तव में सिर्फ कुछ बात करने के लिए हर एक औसत हिल परीक्षण और वे सभी प्रदर्शन कैसे देख सकता है कि हमारे पास होता है। इसलिए हम 50 दिन चलती औसत पर निर्भर है, इतने पर सभी तरह से 2 दिन, 3 दिन, 4-दिन का परीक्षण, और। अब निश्चित रूप से इन औसत से कुछ के खराब प्रदर्शन करेंगे और दूसरों को काफी अच्छी तरह से प्रदर्शन करेंगे, लेकिन सबसे अच्छा निरपेक्ष है जो उन में से एक होने के लिए वहाँ होगा। उदाहरण के लिए हम 32 दिन चलती औसत इस विशेष दस साल की अवधि के दौरान सबसे अच्छा प्रदर्शन करने वाला निकला कि मिल सकता है। इस 32 दिन के औसत के बारे में कुछ खास है कि वहाँ और हम इसे भविष्य में अच्छा प्रदर्शन करेंगे कि विश्वास होना चाहिए कि क्या मतलब है? दुर्भाग्य से कई व्यापारियों मामला होने के लिए इस मान, और वे सिर्फ वे गहरा कुछ की खोज की है, यह सोचकर कि इस बिंदु पर उनके विश्लेषण करना बंद करो। एकाधिक हाइपोथीसिस समस्या & quot; वे & quot में गिर गया है; ख़तरा। समस्या कुछ औसत सबसे अच्छा निकला है कि इस तथ्य के बारे में असामान्य या महत्वपूर्ण कुछ भी नहीं है कि वहाँ है। सब के बाद, हम एक ही डेटा के खिलाफ लगभग पचास उनमें से परीक्षण किया है, तो हम सिर्फ संयोग से, कुछ अच्छे कलाकारों मिल उम्मीद थी। यह विशेष रूप से चल औसत के बारे में कुछ भी खास नहीं है, इसका मतलब यह नहीं है कि & quot; वोन & quot; इस मामले में। हम काम किया है कि एक मिल गया जब तक हम बजाय एक ही परिकल्पना को चुनने और यह परीक्षण, कई परिकल्पनाएं परीक्षण किया क्योंकि समस्या पैदा होती है। यहाँ एक अच्छा क्लासिक सादृश्य है। हम इस तरह के रूप में एक भी परिकल्पना के साथ आ सकता है & quot; स्कॉट एक सिक्के पर सिर flipping में महान है। & Quot; उस से, हम एक का कहना है कि भविष्यवाणी & quot बना सकते हैं;। परिकल्पना सच है, स्कॉट एक पंक्ति में 10 सिर फ्लिप करने के लिए सक्षम हो जाएगा & quot; तो फिर हम उस परिकल्पना का परीक्षण करने के लिए एक सरल प्रयोग कर सकते हैं। मैं एक पंक्ति में 10 सिर फ्लिप कर सकते हैं, तो यह वास्तव में परिकल्पना साबित नहीं करता है। मैं इस उपलब्धि को हासिल नहीं कर सकते, लेकिन अगर यह निश्चित रूप से परिकल्पना disproves। हम परिकल्पना का खंडन करने के लिए जो असफल प्रयोगों दोहराया करते है, तो इसकी सच्चाई में हमारे विश्वास बढ़ता है। यही कारण है कि यह करने के लिए सही रास्ता है। हालांकि, हम बजाय मुझे एक अच्छा सिक्का पट्टिका होने के बारे में सिर्फ एक की 1000 में परिकल्पना के साथ क्या आया था तो क्या होगा? हम एक ही परिकल्पना 1000 के बारे में अलग अलग लोगों को कर सकता है। मुझे, आदि एड, सिंडी, बिल, सैम, ठीक है, अब हमारे कई परिकल्पनाओं का परीक्षण करते हैं। हम एक सिक्का फ्लिप करने के लिए सभी 1000 लोगों से पूछो। शायद के बारे में 500 सिर फ्लिप वहाँ कौन हो जाएगा। बाकी सब घर जा सकते हैं। अब हम फिर से फ्लिप करने के लिए उन 500 लोगों से पूछते हैं, और इस समय लगभग 250 सिर फ्लिप जाएगा। चौथे पर लगभग 125 लोग सिर फ्लिप तीसरे फ्लिप, पर के बारे में 63 लोगों को छोड़ दिया जाता है, और पांचवें फ्लिप पर वे के बारे में 32. इन 32 लोगों को सभी बहुत अद्भुत हैं वहाँ नहीं कर रहे हैं? वे सभी एक पंक्ति में पांच सिर से फ़्लिप किया है! हम पांच से अधिक बार फ्लिप और आधे लोगों को औसतन हर समय को खत्म करते हैं, तो हम फिर उसके बाद 16, 8, 4, 2 के साथ खत्म हो जाएगा और अंत में एक पंक्ति में दस सिर से फ़्लिप किया है, जो छोड़ एक व्यक्ति। यह विधेयक है! विधेयक है & quot; बहुत बढ़िया & quot; सिक्कों की पट्टिका! या वह है? खैर, हम वास्तव में नहीं पता है, और यह बात है। विधेयक शुद्ध मौका से बाहर हमारी प्रतियोगिता जीत हो सकती है, या वह बहुत अच्छी तरह से सिर एंड्रोमेडा आकाशगंगा के इस पक्ष का सबसे अच्छा पट्टिका हो सकता है। द्वारा एक ही टोकन, हम अपने उदाहरण से 32 दिन चलती औसत से ऊपर सिर्फ शुद्ध संयोग से हमारी परीक्षा में अच्छा प्रदर्शन करता है, तो पता है, या इसके बारे में कुछ खास सच है कि अगर वहाँ नहीं है। लेकिन हम अब तक क्या किया है सभी 32 दिन चलती औसत रणनीति (या उस विधेयक को एक महान सिक्का पट्टिका है) लाभदायक है, अर्थात् है कि एक परिकल्पना को मिल रहा है। हम वास्तव में अभी तक कि परिकल्पना परीक्षण नहीं किया है। तो अब हम क्या हम वास्तव में औसत या सिक्कों फ्लिप करने के लिए विधेयक की क्षमता के बारे में जाने 32 दिनों के बारे में अभी तक कुछ भी महत्वपूर्ण खोज नहीं की है कि समझते हैं, पूछने के लिए स्वाभाविक प्रश्न है कि हम आगे क्या करना चाहिए? जैसा कि मैंने ऊपर उल्लेख किया है, कई व्यापारियों पर सभी आवश्यक एक अगले कदम के एहसास है कि वहाँ कभी नहीं। खैर, इस विधेयक के मामले में आप शायद पूछना & quot चाहते हैं, अहा, लेकिन वह फिर से एक पंक्ति में दस सिर फ्लिप कर सकते हैं? & Quot; 32 दिन चलती औसत के मामले में, हम, लेकिन निश्चित रूप से नहीं है कि हम उस परिकल्पना का चयन करने के लिए प्रयोग किया जाता है कि एक ही डेटा नमूना के खिलाफ है, इसे फिर से परीक्षण करने के लिए चाहता हूँ। हम एक और दस साल की अवधि का चयन और रणनीति बस के रूप में अच्छी तरह से काम करता है, तो देखना होगा। नई दस साल की अवधि के बारे में हमारी आपूर्ति बाहर भाग गया जब तक हम चाहते थे के रूप में हम इस प्रयोग के रूप में कई बार ऐसा करने के लिए जारी रख सकता है। नमूना परीक्षण & quot बाहर ;, और यह इस चूक से बचने के लिए रास्ता है, हम & quot इस पर देखें। वहाँ & quot जिनमें से एक इस तरह के परीक्षण के विभिन्न तरीके हैं; पार सत्यापन के लिए & quot ;, लेकिन हम यहाँ कि ज्यादा विस्तार में नहीं मिलेगा।