Gewichtete Gleitende Durchschnittliche Standardabweichung

Hi Ich habe einige Prozessdaten für 3 Jahre gesammelt und ich möchte eine EWMA prospektive Analyse nachbilden, um zu sehen, ob mein Set-Glättungsparameter alle wichtigen Änderungen erkannt hätte (ohne zu viele falsche Alarme). Es scheint, wie die meisten Lehrbücher und Literatur, die ich sah, dass eine mittlere und Standard-Abweichung, um die Kontroll-Limits zu berechnen. Dabei handelt es sich üblicherweise um das in-Kontroll-Mittel und die Standardabweichung von einigen historischen Daten oder dem Mittelwert und sd der Population, aus denen die Proben entnommen werden. Ich habe keine Informationen. Gibt es eine andere Möglichkeit, die Kontroll-Limits zu berechnen gibt es eine Variation der EWMA-Chart, die nicht Mittelwert und Standardabweichung Jede kreative Ideen Vielen Dank im Voraus Um sicherzustellen, dass ich das verstehe: Sie könnten die EWMA Mittelwert und Varianz, aber Sie berechnen Don39t haben eine Grundlinie, um sie zu vergleichen Es klingt für mich wie Sie haben eine überwachte Technik (die davon ausgeht, können Sie definieren, was es quotshouldot aussehen), aber Sie wollen eine unbeaufsichtigte Technik (die nur für Unterschiede sucht, ohne einen Zustand quotgoodquot und anderen B. Badquot). Für unbeaufsichtigte Techniken, Clustering in den Sinn kommt, aber es müsste geändert werden, um auf timeseries gelten. Wie über Generalized Likelihood Ratio (GLR) ndash Jim Pivarski Jun 25 14 at 2:49 Wenn wir auf en. wikipedia. orgwikiEWMAchart beziehen. Ich kann die Zi für meine gegebene Lambda berechnen, aber wenn es um die Kontrollgrenzen geht, habe ich keine historischen Daten, um die T und S. zu berechnen. Vielen Dank Ich werde in GLR schauen und auch auf Cross Validated posten. Ndash user3295481 Jun 25 14 at 2:54 Yeah, T und S sind die Mittelwerte und Standardabweichungen einer Grundlinienverteilung, die entweder a priori gegeben oder aus einem Trainingsdatensatz ermittelt werden. Der Trainings-Dataset repräsentiert, wie die Daten aussehen sollen, also ist dies eine überwachte Technik und Sie wollen eine unüberwiesene Technik. GLR isn39t exponentiell gewichtet, aber es dynamisch findet einen Bruch in den Daten zwischen zwei verschiedenen Distributionen und kombiniert Daten auf jeder Seite der Pause, um mehr robuste Ergebnisse zu erhalten. Es könnte sein, was Sie wollen. Ndash Jim Pivarski Jun 25 14 um 3:00 Aus praktischer Sicht ist der Gebrauch der statistischen Analyse historischer Daten selten. Ja, es bietet einige Leitlinien, wie der Prozess (und seine Steuerung) durchführen, aber das Wichtigste ist bei weitem ein gutes Verständnis und Wissen über die technischen Grenzen zu haben. Ich verweise auf die Betriebsgrenzen, die durch die Spezifikationen und Leistungsmerkmale der verschiedenen Geräte bestimmt werden. Dies ermöglicht es, ein gutes Verständnis davon zu entwickeln, wie sich der Prozess verhalten soll (in Bezug auf optimalen Betriebspunkt und obere Grenzwerte) und wo die Bereiche mit der größten Abweichung von optimal sind. Das hat sehr wenig mit der statistischen Analyse historischer Daten zu tun und viel mit der verfahrenstechnischen Metallurgie zu tun - je nach Art des Prozesses, mit dem Sie zu tun haben. Die Regelgrenzen werden letztlich von dem bestimmt, was der Prozessmanager Process Engineer WANTS, die in der Regel (aber nicht immer) innerhalb der Beschriftung Kapazität des Gerätes sind. Wenn Sie innerhalb der operativen Grenzen arbeiten, und Sie sind im Bereich der Prozessoptimierung, dann ja, statistische Analyse ist weit verbreitet und kann gute Einblicke bieten. Abhängig von der Variabilität Ihres Prozesses, wie gut Ihr Steuersystem eingerichtet ist, und die Homogenität Ihres Futtermittelprodukts, variieren die obergrössten Kontrollgrenzen, die ausgewählt werden. Ein guter Ausgangspunkt ist der optimale Betriebspunkt (z. B. 100 m3hr), dann verwenden Sie eine sinnvolle Menge an historischen Daten, um eine Standardabweichung zu berechnen, und stellen Sie Ihre Obergrenze 100 1 Standard-dev und Ihre Untergrenze 100 - 1 Standard-dev. Das ist keine harte und schnelle Regel, aber es ist ein vernünftiger Ausgangspunkt. Antwortete am 7. Februar um 12: 12Erwachsen der exponentiell gewichteten Moving Average Volatilität ist die häufigste Maßnahme des Risikos, aber es kommt in mehreren Geschmacksrichtungen. In einem früheren Artikel haben wir gezeigt, wie man einfache historische Volatilität berechnet. (Um diesen Artikel zu lesen, lesen Sie unter Verwenden der Volatilität, um zukünftiges Risiko zu messen.) Wir verwendeten Googles tatsächliche Aktienkursdaten, um die tägliche Volatilität basierend auf 30 Tagen der Bestandsdaten zu berechnen. In diesem Artikel werden wir auf einfache Volatilität zu verbessern und diskutieren den exponentiell gewichteten gleitenden Durchschnitt (EWMA). Historische Vs. Implied Volatility Erstens, lassen Sie diese Metrik in ein bisschen Perspektive. Es gibt zwei breite Ansätze: historische und implizite (oder implizite) Volatilität. Der historische Ansatz geht davon aus, dass Vergangenheit ist Prolog Wir messen Geschichte in der Hoffnung, dass es prädiktive ist. Die implizite Volatilität dagegen ignoriert die Geschichte, die sie für die Volatilität der Marktpreise löst. Es hofft, dass der Markt am besten weiß und dass der Marktpreis, auch wenn implizit, eine Konsensschätzung der Volatilität enthält. (Für verwandte Erkenntnisse siehe Die Verwendungen und Grenzen der Volatilität.) Wenn wir uns nur auf die drei historischen Ansätze (auf der linken Seite) konzentrieren, haben sie zwei Schritte gemeinsam: Berechnen Sie die Reihe der periodischen Renditen Berechnen die periodische Rendite. Das ist typischerweise eine Reihe von täglichen Renditen, bei denen jede Rendite in kontinuierlich zusammengesetzten Ausdrücken ausgedrückt wird. Für jeden Tag nehmen wir das natürliche Protokoll des Verhältnisses der Aktienkurse (d. H. Preis heute geteilt durch den Preis gestern und so weiter). Dies erzeugt eine Reihe von täglichen Renditen, von u i bis u i-m. Je nachdem wie viele Tage (m Tage) wir messen. Das bringt uns zum zweiten Schritt: Hier unterscheiden sich die drei Ansätze. Wir haben gezeigt, dass die einfache Varianz im Rahmen einiger akzeptabler Vereinfachungen der Mittelwert der quadratischen Renditen ist: Beachten Sie, dass diese Summe die periodischen Renditen zusammenfasst und dann diese Summe durch die Anzahl der Tage oder Beobachtungen (m). Also, seine wirklich nur ein Durchschnitt der quadrierten periodischen kehrt zurück. Setzen Sie einen anderen Weg, jede quadratische Rückkehr wird ein gleiches Gewicht gegeben. Also, wenn alpha (a) ein Gewichtungsfaktor (speziell eine 1m) ist, dann eine einfache Varianz sieht etwa so aus: Die EWMA verbessert auf einfache Varianz Die Schwäche dieser Ansatz ist, dass alle Renditen das gleiche Gewicht zu verdienen. Yesterdays (sehr jüngste) Rückkehr hat keinen Einfluss mehr auf die Varianz als die letzten Monate zurück. Dieses Problem wird durch Verwendung des exponentiell gewichteten gleitenden Mittelwerts (EWMA), bei dem neuere Renditen ein größeres Gewicht auf die Varianz aufweisen, festgelegt. Der exponentiell gewichtete gleitende Mittelwert (EWMA) führt Lambda ein. Die als Glättungsparameter bezeichnet wird. Lambda muss kleiner als 1 sein. Unter dieser Bedingung wird anstelle der gleichen Gewichtungen jede quadratische Rendite durch einen Multiplikator wie folgt gewichtet: Beispielsweise neigt die RiskMetrics TM, eine Finanzrisikomanagementgesellschaft, dazu, eine Lambda von 0,94 oder 94 zu verwenden. In diesem Fall wird die erste ( (1 - 0,94) (94) 0 6. Die nächste quadrierte Rückkehr ist einfach ein Lambda-Vielfaches des vorherigen Gewichts in diesem Fall 6 multipliziert mit 94 5,64. Und das dritte vorherige Tagegewicht ist gleich (1-0,94) (0,94) 2 5,30. Das ist die Bedeutung von exponentiell in EWMA: jedes Gewicht ist ein konstanter Multiplikator (d. h. Lambda, der kleiner als eins sein muß) des vorherigen Gewichtes. Dies stellt eine Varianz sicher, die gewichtet oder zu neueren Daten voreingenommen ist. (Weitere Informationen finden Sie im Excel-Arbeitsblatt für die Googles-Volatilität.) Der Unterschied zwischen einfacher Volatilität und EWMA für Google wird unten angezeigt. Einfache Volatilität wiegt effektiv jede periodische Rendite von 0,196, wie in Spalte O gezeigt (wir hatten zwei Jahre täglich Aktienkursdaten, das sind 509 tägliche Renditen und 1509 0,196). Aber beachten Sie, dass die Spalte P ein Gewicht von 6, dann 5,64, dann 5,3 und so weiter. Das ist der einzige Unterschied zwischen einfacher Varianz und EWMA. Denken Sie daran: Nachdem wir die Summe der ganzen Reihe (in Spalte Q) haben wir die Varianz, die das Quadrat der Standardabweichung ist. Wenn wir Volatilität wollen, müssen wir uns daran erinnern, die Quadratwurzel dieser Varianz zu nehmen. Was ist der Unterschied in der täglichen Volatilität zwischen der Varianz und der EWMA im Googles-Fall? Bedeutend: Die einfache Varianz gab uns eine tägliche Volatilität von 2,4, aber die EWMA gab eine tägliche Volatilität von nur 1,4 (Details siehe Tabelle). Offenbar ließ sich die Googles-Volatilität in jüngster Zeit nieder, daher könnte eine einfache Varianz künstlich hoch sein. Die heutige Varianz ist eine Funktion der Pior Tage Variance Youll bemerken wir benötigt, um eine lange Reihe von exponentiell sinkenden Gewichte zu berechnen. Wir werden die Mathematik hier nicht durchführen, aber eine der besten Eigenschaften der EWMA ist, daß die gesamte Reihe zweckmäßigerweise auf eine rekursive Formel reduziert: Rekursiv bedeutet, daß heutige Varianzreferenzen (d. h. eine Funktion der früheren Tagesvarianz) ist. Sie können diese Formel auch in der Kalkulationstabelle zu finden, und es erzeugt genau das gleiche Ergebnis wie die Langzeitberechnung Es heißt: Die heutige Varianz (unter EWMA) ist gleichbedeutend mit der gestrigen Abweichung (gewichtet mit Lambda) plus der gestrigen Rückkehr (gewogen durch ein Minus-Lambda). Beachten Sie, wie wir sind nur das Hinzufügen von zwei Begriffe zusammen: gestern gewichtet Varianz und gestern gewichtet, quadriert zurück. Dennoch ist Lambda unser Glättungsparameter. Ein höheres Lambda (z. B. wie RiskMetrics 94) deutet auf einen langsameren Abfall in der Reihe hin - in relativer Hinsicht werden wir mehr Datenpunkte in der Reihe haben, und sie fallen langsamer ab. Auf der anderen Seite, wenn wir das Lambda reduzieren, deuten wir auf einen höheren Abfall hin: die Gewichte fallen schneller ab, und als direkte Folge des schnellen Zerfalls werden weniger Datenpunkte verwendet. (In der Kalkulationstabelle ist Lambda ein Eingang, so dass Sie mit seiner Empfindlichkeit experimentieren können). Zusammenfassung Volatilität ist die momentane Standardabweichung einer Aktie und die häufigste Risikomessung. Es ist auch die Quadratwurzel der Varianz. Wir können Varianz historisch oder implizit messen (implizite Volatilität). Bei der historischen Messung ist die einfachste Methode eine einfache Varianz. Aber die Schwäche mit einfacher Varianz ist alle Renditen bekommen das gleiche Gewicht. So stehen wir vor einem klassischen Kompromiss: Wir wollen immer mehr Daten, aber je mehr Daten wir haben, desto mehr wird unsere Berechnung durch weit entfernte (weniger relevante) Daten verdünnt. Der exponentiell gewichtete gleitende Durchschnitt (EWMA) verbessert die einfache Varianz durch Zuordnen von Gewichten zu den periodischen Renditen. Auf diese Weise können wir beide eine große Stichprobengröße, sondern auch mehr Gewicht auf neuere Renditen. (Um ein Film-Tutorial zu diesem Thema zu sehen, besuchen Sie die Bionic Turtle.) Whuber - Das ist falsch, wie Sie vermutet haben. Es ist richtig, wenn die Gewichte selbst Frequenzen sind. Aber obwohl Frequenzen in die Berechnung der Prozentsätze in diesem Fall die Gewichte gehen, wenn auch nicht spezifiziert, sind nicht Frequenzen des Auftretens, sondern etwas anderes zu tun, mit quotdata volumequot. Das ist also die falsche Antwort. Ndash Rex Kerr Die Formeln sind verfügbar verschiedene Orte, einschließlich Wikipedia. Der Schlüssel ist zu bemerken, dass es hängt davon ab, was die Gewichte bedeuten. Insbesondere erhalten Sie verschiedene Antworten, wenn es sich bei den Gewichten um Frequenzen handelt (dh Sie versuchen nur, die Summe nicht zu addieren), wenn die Gewichte in der Tat die Abweichung der einzelnen Messwerte sind oder wenn nur einige externe Werte auferlegt werden deine Daten. In Ihrem Fall, es oberflächlich sieht aus wie die Gewichte sind Frequenzen, aber theyre nicht. Sie generieren Ihre Daten aus Frequenzen, aber es ist nicht einfach, mit 45 Datensätze von 3 und 15 Datensätze von 4 in Ihrem Datensatz. Stattdessen müssen Sie die letzte Methode verwenden. (Eigentlich ist das alles Müll - Sie müssen wirklich ein anspruchsvolleres Modell des Prozesses verwenden, der diese Zahlen erzeugt. Anscheinend haben Sie nicht etwas, das ausspucken Normalverteilte Zahlen, so dass das System mit der Standardabweichung charakterisiert wird Nicht das Richtige zu tun.) In jedem Fall ist die Formel für die Varianz (mit der Sie die Standardabweichung auf normale Weise berechnen) mit Zuverlässigkeitsgewichten, wobei x sum wi xi sum wi der gewichtete Mittelwert ist. Sie haben nicht eine Schätzung für die Gewichte, die Im vorausgesetzt, Sie wollen, um proportional zur Zuverlässigkeit werden. Unter den Prozentsätzen, wie Sie sind, wird die Analyse schwierig zu machen, auch wenn theyre von einem Bernoulli-Prozess generiert, denn wenn Sie eine Punktzahl von 20 und 0 erhalten, haben Sie unendlichen Prozentsatz. Die Gewichtung durch das Inverse des SEM ist eine gemeinsame und manchmal optimale Sache zu tun. Sie sollten vielleicht eine Bayessche Schätzung oder Wilson Score Intervall. Antwortete am 8. September um 17:48 1. Die Diskussion der verschiedenen Bedeutungen der Gewichte war, was ich in diesem Thread die ganze Zeit gesucht wurde. Es ist ein wichtiger Beitrag zu all diesen Fragen zu gewichteten Statistiken. (Ich bin ein wenig besorgt über die Klammern Bemerkungen über normale Verteilungen und Standardabweichungen, aber weil sie fälschlicherweise deuten darauf hin, dass SDs haben keinen Gebrauch außerhalb eines Modells auf der Grundlage der Normalität.) Ndash whuber 9830 Sep 8 15 um 18:23 whuber - Nun, Aber das, was das OP tat, versucht, diesen Satz von Zahlen mit einer mittleren und Standardabweichung zu charakterisieren, scheint außerordentlich nicht ratsam zu sein. Und in der Regel für viele Anwendungen die Standardabweichung endet locken ein in ein falsches Gefühl des Verstehens. Zum Beispiel, wenn die Verteilung ist alles andere als normal (oder eine gute Annäherung davon), verlassen Sie sich auf die Standardabweichung geben Ihnen eine schlechte Vorstellung von der Form der Schwänze, wenn es genau die Schwänze, die Sie wahrscheinlich am meisten Sorge in der statistischen testen. Ndash Rex Kerr Wir können schwerlich Standard-Abweichung Schuld, wenn die Menschen Interpretationen auf sie, die unverdient sind. Aber lassen Sie39s weg von der Normalität und betrachten die viel breitere Klasse von stetigen, symmetrischen unimodalen Verteilungen mit endlichen Varianz (zum Beispiel). Dann liegen zwischen 89 und 100 Prozent der Verteilung innerhalb von zwei Standardabweichungen. Das ist oft ziemlich nützlich, um zu wissen (und 95 liegt ziemlich viel in der Mitte, also ist es nie mehr als etwa 7 aus) mit vielen gemeinsamen Verteilungen, die Symmetrie Aspekt doesn39t viel ändern (z. B. Blick auf die Exponential, zum Beispiel). Ctd ndash Glenb 9830 Okt 1 15 am 23:57