RTS-Brent и разное о моделировании

[квит]

Тема отпочковалась отсюда
http://project.megarulez.ru/forums/s...ad.php?t=10858




Первые две подборки моделей понравились больше.

Хотя по научной части занимаюсь стохастическими динамическими.

[Фавн]

Да?
Очень интересно, расскажи, чем ты занимаешься поподробнее

Я пока просто накидал для себя ссылок в некоторой потуге систематизации, чтобы обозреть просторы моделей вообще и далее читать и влезать в что-то более конкретное.

Что бы порекоммендовал ты почитать.поизучать?
(книги, сайты, имена, пароли, явки и т.п.)

[квит]

Сообщение от Фавн

Что бы порекоммендовал ты почитать.поизучать?
(книги, сайты, имена, пароли, явки и т.п.)

Ммм...
А можешь свою цель более подробно конкретизировать?

Тогда уже можно че-то рекомендовать

\\Вобщем я ещё не в стадии конкретики, может быть позже. Буду иметь ввиду. \\Фавн

[квит]

Сообщение от Фавн

Очень интересно, расскажи, чем ты занимаешься поподробнее

Подробнее - занимаюсь вопросами идентификации и верификации динамических стохастических систем.

Еще подробнее- это уже с формулами нужно

[Андрей ОК]

Сообщение от квит

динамических стохастических систем.

Какие объекты? Прикладные цели есть?

это уже с формулами нужно

ничо-ничо, мы розумiем цiю мову.

[квит]

Сообщение от Андрей ОК

Какие объекты? Прикладные цели есть?

ничо-ничо, мы розумiем цiю мову.

Ну, если это укладывается в формат форума... (Как сказал Фавн )

В самом общем виде - модель динамической стохастической системы имеет вид
dx(t)/dt=f(x(t),u(t),w(t)),
где x(t) - состояние системы,
u(t) - управление,
w(t) - стохастическая составляющая (случайная величина).

Первый вопрос - структурная идентификация - выяснить структуру модели, т.е. вид функции f(...).
Какая она - линейная/нелинейная, непрерывная/дискретная, аддитивная или мультипликативная ошибка, и т.д.

Второй вопрос - параметрическая идентификация - оценить параметры модели, после того, как узнали ее структуру. Тут же вопрос об оптимальном планировании эксперимента.

Т.е. это все вопросы разработки мат. аппарата. Если есть реальная прикладная задача - можно и нужно посотрудничать.

[квит]

А то, может, про первых моделей поговорим?

[Фавн]

А то, может, про первых моделей поговорим?

Ну, разве что приводить примеры особо изящных по всем параметрам, а то ведь я тех-то набрал весьма стохастически

А вот скажем есть колебание индекса РТС или цена нефти Brent - временной ряд.
Можно ли применительно к ним проделать всё вот это:

Первый вопрос - структурная идентификация - выяснить структуру модели, т.е. вид функции f(...).
Какая она - линейная/нелинейная, непрерывная/дискретная, аддитивная или мультипликативная ошибка, и т.д.

Второй вопрос - параметрическая идентификация - оценить параметры модели, после того, как узнали ее структуру. Тут же вопрос об оптимальном планировании эксперимента.

Т.е. это все вопросы разработки мат. аппарата.

Или как можно выделить например сезонную составляющую, случайную, ещё чего...

А что такое вопрос об оптимальном планировании эксперимента?


P.S.

Ну, если это укладывается в формат форума...

Если есть потенциал вложить - все преграды можно уложить.

[квит]

В принципе, к любому временному ряду все это можно применить.
Тут опять же вопрос - какая цель преследуется?

Оптимальное планирование эксперимента - как провести эксперимент, чтобы при минимальных затратах получить максимум информации об исследуемом объекте.

[Фавн]

Ту опять же вопрос - какая цель преследуется?

Цель номер раз уметь это делать с временным рядом.
Цель два пытаться найти взаимосвязь между разными временными рядами(в той мере в какой это возможно).

[квит]

Ты собираешься на бирже играть?
На форексе?

[Фавн]

Нет, но тут бывают и такие фантазёры. Мне интересно какую информацию я могу извлечь из временного ряда(рядов) о конкретном процессе имеющимися методами.
Вот скажем об этом на разных его промежутках, мог ли я предвидеть на пике как минимум "что-то тут явно не так, модель меняется..." или ещё чего...

Или каков его вклад в процесс следующий:


И мне интересно вот это всё:

Первый вопрос - структурная идентификация - выяснить структуру модели, т.е. вид функции f(...).
Какая она - линейная/нелинейная, непрерывная/дискретная, аддитивная или мультипликативная ошибка, и т.д.

Второй вопрос - параметрическая идентификация - оценить параметры модели, после того, как узнали ее структуру. Тут же вопрос об оптимальном планировании эксперимента.

Т.е. это все вопросы разработки мат. аппарата. Если есть реальная прикладная задача - можно и нужно посотрудничать.

Мне интересно. Это ответ?

Чувствуешь в себе время и силы - открывай тут тему "временные ряды" и вперёд - твой курс лекций.

P.S.
Общественность так же интересуется:
как "отстационировать" нестационарные временные ряды?
что такое гетероскедастичность и зачем она нужна?

[Андрей ОК]

Ты собираешься на бирже играть?

Я экономикой интересуюсь постольку-постольку. В приложении к экономике было бы интересно:
предположить управляющий параметр экономических временных рядов
проверить, насколько правильно наше предположение

Ну, если это укладывается в формат форума...

Формулы можно сохранять как картинку и подгружать сюда.

[квит]

Чувствуешь в себе время и силы - открывай тут тему "временные ряды" и вперёд - твой курс лекций.

Не, смысла в лекциях особого не вижу, поскольку общего материала, чисто для ознакомления, достаточно и в книгах, и в сети.

Ответить на вопросы - всегда пожалуйста.

Отвечаю на ряд вопросов.

1.

Вот скажем об этом на разных его промежутках, мог ли я предвидеть на пике как минимум "что-то тут явно не так, модель меняется..." или ещё чего...

Тут скорее вопрос методологический, нужно много писать, отдельно отвечу.

2.

Или каков его вклад в процесс следующий:

Да, влияние одного ряда на другой можно оценить статистическими методами

3.

Мне интересно. Это ответ?

Да, нормальный ответ.
Просто пока все на уровне "интересно", пойдет любая книга по временным рядам.
А конкретные воросы появляются при конкретной задаче. Конкретные данные, конкретный ряд и т.д.

4.

как "отстационировать" нестационарные временные ряды?

Опять же - зачем?
Какой именно ряд?
Надо смотреть на задачу, данные, тогда уже методы подбирать.

5.

что такое гетероскедастичность и зачем она нужна?

гомоскедастичность - случай, когда дисперсия случайной величины постоянна.
гетероскедастичность - дисперсия случайной величины меняется со временем.
Зачем нужна - иногда моделью с переменной дисперсией можно более адекватно описать некоторый ВР.
Можно наглядно показать различие, счас данные смоделирую, вставлю картинки

6.

предположить управляющий параметр экономических временных рядов
проверить, насколько правильно наше предположение

Предлагайте конкретный пример, можно попробовать

[Фавн]

Тут скорее вопрос методологический, нужно много писать, отдельно отвечу.

Интересно-интересно. Если что, это нефть Brent и индекс РТС.
откуда взять данные указано ниже

Опять же - зачем?

Слышал, что не корректно использовать регрессию между индексом РТС и ценой на нефть в частности из-за того, что эти временные ряды нестационарные и их надо отстационировать. И ещё как-то там мешается "нулевая гипотеза" - это что за чёрт?

Какой именно ряд?
Надо смотреть на задачу, данные, тогда уже методы подбирать.

Индекс РТС, цена нефти Brent.
Архив котировок можно скачать, например, здесь:
http://www.finam.ru/analysis/export/default.asp

Секция рынка - Мировые индексы
Контракт - RTSI
с - 2000 год
Периодичность - 1 день
- Получить файл -

Секция рынка - Сырьё
Контракт - Brent
с - 2000 год
Периодичность - 1 день
- Получить файл -

Для данных брать последний столбец (CLOSE) ну и посмотреть чтобы даты совпадали (DATE).

Да, влияние одного ряда на другой можно оценить статистическими методами

Вот-вот давай посмотрим вклад нефти в индекс РТС.
По-научному.

Можно наглядно показать различие, счас данные смоделирую, вставлю картинки

и сами бы данные или описание как ты их смоделировал

Предлагайте конкретный пример, можно попробовать

Нефть... индекс РТС...

[квит]

Для данных брать последний столбец (CLOSE) ну и посмотреть чтобы даты совпадали (DATE).

Ыыыы...

А можешь сам данные подготовить (например, в формате екселя) и мне на мыло скинуть?
И будем анализировать.

[Андрей ОК]

Предлагайте конкретный пример, можно попробовать

Я пока понаблюдаю, вроде бы у вас с Фавном что-то интересное намечается.

и мне на мыло скинуть?

Дак лучше в сообщение подгрузить, чтоб зрителям (мне)) тоже было интересно

Тут скорее вопрос методологический, нужно много писать, отдельно отвечу.

Меня, похоже, интересует то же самое, что и Фавна, только в профиль.

Вот гляди. Я исследую разные временные и пространственные ряды с целью выявить на них участки, где происходило/происходит максимальная концентрация энергии на единицу вещества. Ряды одно-, двух- и иногда трехмерные. Квит, как математически адекватно описать эту задачку?

[квит]

Вот гляди. Я исследую разные временные и пространственные ряды с целью выявить на них участки, где происходило/происходит максимальная концентрация энергии на единицу вещества. Ряды одно-, двух- и иногда трехмерные. Квит, как математически адекватно описать эту задачку?

Например, преобразование Фурье можно применить, там есть анализ спектра и распределение энергии по частотам.
Подробнее можешь рассказать, то за ряды, данные дать?

[Фавн]

А можешь сам данные подготовить (например, в формате екселя)

А... там оказалось несколько более неудобно чем я думал. У РТС будут дыры по суботам-воскресениям.
Попробую причесать. Заходи через неделю.
Либо причешу, либо нет...

[Фавн]

квит
Это оказалось проще чем я думал.
Вот причёсанные данные:
зараренный лист Microsoft Office Excel 97-2003

там столбец даты в формате например 20000304 - это 4 марта 2000го, цена нефти Brent и индекс RTS в этот день, они подписаны в первой строке.

Ну, собственно дату эту удалить нафиг, и вот есть два временных ряда.
Если что пиши пожелания.

[квит]

О гетероскедастичности.

1. Возьмем простой случай - модель линейной регрессии.
y(t)=a0+a1*t (детерминированная).

Дискретный аналог, с конкретными числами
y(k)=5+2*k

график 1


2. Гомоскедастичность.
Теперь добавим стохастическую компоненту.
В классической модели регрессия имеет вид
y(k)=a0+a1*k+w(k),
где w(k) - случайная величина, имеющая нормальное распределение с нулевым средним и среднеквадратическим отклонением s (дисперсия s^2) . Условное обозначение w(k)~N(0,s), для примера пусть s=4

Одна реализация, график 2.

Несколько реализаций, график 3.



3. Гетероскедастичность.
Пусть теперь наша с.в. имеет не постоянную дисперсию, а зависящую от времени.
Пусть s(k)=k/2, т.е. w(k)~N(0,k/2).

Одна реализация, график 4.

Несколько реализаций, график 5.


Теперь вопрос - есть ли качественное различие в графиках 2-4, 3-5?
Если да, то как его сформулировать?

[квит]

Чет картинки криво вставились.

А как их прятать под стрелочки? Научите, а?

[Фавн]

квит

Теперь вопрос - есть ли качественное различие в графиках 2-4, 3-5?
Если да, то как его сформулировать?

Понятно, разносит их. Дисперсия меняется.

А как их прятать под стрелочки?

[*block=название картинки][*IMG]тут адрес картинки [/IMG][/block]
Примечание: звёздочки убрать(они тут чтобы было видно структуру)

P.S.
Экселька открывается?

[квит]

По данным нефть-индекс.

Первый этап любого иследования ВР - предварительный графический анализ.
Уже на этом этапе можно много информации получить.





Итак, сравнивая визуально, уже можно сказать, что зависимость какая то присутствует.

Дополнительно можно оба ряда привести к одному масштабу (на рис. привели к шкале [0,1]), и изобразить их на одном графике.
Какие выводы можно сделать из графического анализа?

Далее, можно построить коррелограмму в координатах у1,у2 (она же диаграмма рассеяния, она же поле рассеяний, она же корреляционное облако).
Какой вывод можно сделать из нее?

[Андрей ОК]

Фавн, чего-то я забыл, ты чего хочешь? Ну вот тебе почти линейная зависимость с бодрым, судя по всему, коэффициентом корреляции, что дальше?

Сообщение от Квит

Чет картинки криво вставились.

Я, ничтоже сумняше, в последнем твоем посте взял и подправил постановку картинок. )) Если ты не против.
***
Квит, правильно ли я понял, что ты, в конечном счете, пытаешься найти оптимальный алгоритм подбора статистической модели, наиболее точно описывающей эмпирические данные?

Например, преобразование Фурье можно применить, там есть анализ спектра и распределение энергии по частотам.

Это-то понятно, Фурье - наш рулевой. Я про что спрашиваю, про то, как математически корректно и отвлеченно от эмпирики поставить мат. задачку?

Вот, судя по всему, Фавн хочет найти функцию, которая бы однозначно определяла |dx/dt| -> max. Икс здесь - это всякие спекулятивные переменные типа цены на нефть, курсы акций и т.п.
Насколько я понял, это как бы главная задачка анализа, который в этой их экономике называется "технический анализ".

Я, видимо, хочу примерно того же)), только для других переменных.

Подробнее можешь рассказать, то за ряды, данные дать?

Ну дык секретно всё ж)) Поэтому я интересеуюсь пока что в общем

Первый этап любого иследования ВР - предварительный графический анализ.

Ждем продолжения!

[Фавн]

Сообщение от квит

привет, че то я со вставками картинок туплю

Можешь пример реальной ссылки дать?

[*block=название картинки][*IMG]http://www.newsland.ru/public/upload/news/slaid/festivali_i_konkursyifotoerotika_1.jpg[/IMG][/block]
Примечание: звёздочки убрать(они тут чтобы было видно структуру)

Что здесь не ясно?
Пишу то же самое без звёздочек(просто сотри "*" перед "block" и "IMG"), получаю:
↓↓ название картинки

Чтобы получать адрес картинки в инете( http и т.д.), переноси их туда со своего компа пользуясь например местной галереей:
http://project.megarulez.ru/forums/photoplog/index.php
Если что спрашивай опять.

Андрей ОК
Некорректно строить корреляцию меж ними, например, неотстационировав... если они нестационарны(а мне об этом говорили...)...

квит

Дополнительно можно оба ряда привести к одному масштабу (на рис. привели к шкале [0,1]), и изобразить их на одном графике.

Как?

Далее, можно построить коррелограмму в координатах у1,у2

Как?

Какой вывод можно сделать из нее?

Вывод: возможно какая-то связь есть.

Как насчёт отстационировать их прежде чем искать корреляцию? Как проверить на стационарность?

[квит]

Фавн, чего-то я забыл, ты чего хочешь? Ну вот тебе почти линейная зависимость с бодрым, судя по всему, коэффициентом корреляции, что дальше?

Этого мало. Можно более побробные качественные выводы сделать.

Я, ничтоже сумняше, в последнем твоем посте взял и подправил постановку картинок. )) Если ты не против.

Хорошо, спасибо.

Квит, правильно ли я понял, что ты, в конечном счете, пытаешься найти оптимальный алгоритм подбора статистической модели, наиболее точно описывающей эмпирические данные?

Не, этого хочет Фавн.

Я про что спрашиваю, про то, как математически корректно и отвлеченно от эмпирики поставить мат. задачку?

Я не могу понять вопрос, что такое концентрация энергии на единицу вещества. Поэтому спрашиваю.

Если есть анализ сигнала, там встает вопрос распределения энергии по спектру. Так эта задача давно корректно поставлена и решена.
Если у тебя задача по постановке новая, надо больше информации.

Ты можешь рассказать более подробно, не раскрывая физической сущности? Если это так уж мегасекретно.

[квит]

Чтобы получать адрес картинки в инете( http и т.д.), переноси их туда со своего компа пользуясь например местной галереей:

А, понял.
Я просто адрес файла на компе прописывал. Тьфу, тормоз!!!

Некорректно строить корреляцию меж ними, например, неотстационировав... если они нестационарны(а мне об этом говорили...)...

Корректно.
Можно рассматривать эти данные просто как двумерную случ. величину, и считать корреляцию между двумя ее координатами.
Другое дело, как результат потом интерпретировать?

Как?

В шкалу [0,1] ряд х(к) можно перевести, применив преобразование
у(к)=(х(к)-х_min)/(х_max-х_min).
При этом минимальное значение ряда х(к) перейдет в 0, максимальное - в 1, а остальные будут между ними.

Итак, мы будем иметь три столбца данных - к, у1(к), у2(к).
Строим в координатах (к,у1), (к,у2) - получаем графики ВР, строим в координатах (у1,у2) - получаем диаграмму рассеяния.

Вывод: возможно какая-то связь есть.

Мало.
Этот вывод можно было сделать, посмотрев на исходные графики.
Можно еще много полезной информации извлечь, и сделать более содержательные выводы.
Так что еще видно из графиков?

[Фавн]

Корректно.

Хорошо. Но расскажи пожаулйста ещё что такое стационарность и как отстационировать нестационарные временные ряды.

Можно еще много полезной информации извлечь, и сделать более содержательные выводы.
Так что еще видно из графиков?

Из первого:
- возможно, до уровня 0.2 вклад нефти в РТС пренебрежимо мал и колебания РТС до 0.2 можно считать РТСовским шумом(а именно вкладом не нефтяных компаний в индекс РТС).
- этот "шум" в свою очередь увеличивает свою дисперсию при уровне нефти выше 0.2 - типа нефть хорошая, экономика страны пошла вверх, пошло более активное развитие и других компаний (особо это увеличение заметно на времени от 1500 до 2000, надо будет убрать вклад нефти и замерить этот рост дисперсии... )

Со второго графика:
- они в некотором роде близки к диагонали... затрудняюсь сказать о чём это говорит
- с натяжкой... близко к линии, что должно свидетельствовать, наверное, о линейном характере их связи

[Фавн]

Да вот ещё
↓↓ 3 режима

По оси X идёт индекс РТС, по оси Y нефть

Так вот есть 3 режима:
1 - назовём обычный режим
2 и 3 - это данные со времени 2000 по 2200 - это взлёт(2)(с точки цены нефти 0.6 в нормированном виде и времени 2000) и падение(3) самого пика нефти

примечательно что со времени 2200 всё возвратилось в "обычный режим" - 1

1 - обычный режим
2 - надувание пузыря
3 - лопание пузыря

[квит]

Вот это супер!!!
Такое ощущение, что последний и предпоследний посты два разных человека писали.

- они в некотором роде близки к диагонали...
- с натяжкой... близко к линии, что должно свидетельствовать, наверное, о линейном характере их связи

По уровню анализа - на три с минусом

Так вот есть 3 режима:
1 - назовём обычный режим
2 и 3 - это данные со времени 2000 по 2200 - это взлёт(2)(с точки цены нефти 0.6 в нормированном виде и времени 2000) и падение(3) самого пика нефти

примечательно что со времени 2200 всё возвратилось в "обычный режим" - 1

1 - обычный режим
2 - надувание пузыря
3 - лопание пузыря

Пять баллов!

[квит]

Но расскажи пожаулйста ещё что такое стационарность и как отстационировать нестационарные временные ряды.

Временные ряды (ВР) - частный случай случайных процессов (СП).
Для случайных процессов есть стационарность в узком смысле (сильная стац-ть), и в широком смысле (слабая).

СП является стац. в узком смысле, если все его конечномерные распределения совпадают для любого сечения.
Говоря общечеловеческим языком - если в любой момент времени ВР имеет один и тот же закон распределения.

СП является стац. в широком смысле, если его числовые характеристики, в частности, мат. ожидание и дисперсия, постоянны для любого сечения.
Т.е. если он с одинаковым разбросом колеблется вокруг некоторого постоянного значения.

Будет время, я сюда тоже картинки вставлю.

Как перейти от нестац. ряда к стац-му?

Тут все опять же очень сильно зависит от данных.

1. Для некоторых ВР будет достаточно выделить аномальные наблюдения.
2. Для некоторых - удалить линейный тренд.
3. Удалить линейный тренд и сезонность.
4. Применить какое-либо преобразование, напр., взять логарифм или перейти к разностям у(к)=х(к+1)-х(к).

Это я перечислил относительно простые способы, еще есть достаточно изощренные.

Можно, наконец, работать напрямую с рядом, благо есть превеликое множество методов, не требующих стационарности.

[Фавн]

Такое ощущение, что последний и предпоследний посты два разных человека писали.

Да им веселей вместе в одной голове
Они и специализируются на самых разных моделях
↓↓ разные модели

Будет время, я сюда тоже картинки вставлю.

Ок. Не торопись, я на этой неделе очень занят, возможно, что даже не вылезу в и-нет.
Но ты шуруди РТС с нефтью, что там дальше... построение, наверное этих трёх линейных зависимостей...

P.S.
Но ксати за троечника... хотелось бы проанализировать рост дисперсии РТСа при росте нефти, есть ли её увеличение при выходе выше 0.2 и как эту дисперсию замерить-оценить.
Но это после построения зависимостей для трёх режимов.

[квит]

Ок. Не торопись, я на этой неделе очень занят, возможно, что даже не вылезу в и-нет.

Ок, я тоже не особо свободен сейчас.
Берем тайм аут

[Андрей ОК]

Сообщение от Квита

Ты можешь рассказать более подробно, не раскрывая физической сущности?

О, я тут задумался после твоего вопроса, и много до чего допер, спасибо!

В общем, в чем там была проблема? У нас есть искомая переменная Е (которую надо прогнозировать) и куча эмпирических переменных a, b, c... (от 3 до 50):

Е = f(a, b, c...).

И вот, надо найти f. Задача может и не всегда простая, но понятная. Решаем ее так: берем эталонный ряд, где известны и переменные, и Е, и подгоняем теорию под практику. Проблема была в том, что Е-то оно Е, но толком оно не была формализована. И определяется она тоже не всегда напрямую. Пытаясь сформулировать задачу, понял, что надо формализовать Е, и тогда все станет ясно.

Можно еще много полезной информации извлечь, и сделать более содержательные выводы.
Так что еще видно из графиков?

А зачем визуально оценивать? Почему бы не использовать кусочно-линейный регрессионный анализ, или другие подобные инструменты?

Как перейти от нестац. ряда к стац-му?

А зачем?

[квит]

О, я тут задумался после твоего вопроса, и много до чего допер, спасибо!

Всегда.

Как я понимаю, вопрос снялся?

А зачем визуально оценивать? Почему бы не использовать кусочно-линейный регрессионный анализ, или другие подобные инструменты?

Ну это же предварительный анализ, его никогда не повредит провести.
Хотя бы для того, чтобы понять, на каком куске применять кусочно-линейную регр.

А зачем?

Иногда упрощает анализ.

[Фавн]

квит
Вобщем следующий этап построение трёх прямых с помощью МНК. Это можно не разбирать.

Тему можно считать закрытой.
Если есть что написать по стационированию и оценке дисперсий и использованию для чего либо гетероскедастичности - пиши сюда, всегда интересно. Конкретные вопросы на пока закончились.

[Андрей ОК]

Сообщение от Фавна

Конкретные вопросы на пока закончились.

Погоди, мы ж остановились на самом интересном месте)

Какая информация (в идеале) тебе была бы нужна (я не про инсайдеров)), чтобы предсказать пик и падения?

следующий этап построение трёх прямых с помощью МНК.

Не, это фигня.
Вопрос к Квиту: какие еще инструменты (кроме уже упомянутой кус.-лин. регр.) можно использовать, чтобы выделить более детальные тренды? Какие лучше и почему?

Сообщение от Квита

Как я понимаю, вопрос снялся?

Угу. Возникли другие. )) Из не чисто физических остался вопрос про зависимость от масштаба, но, думаю, дойдем до этого на примере Фавна.

Иногда упрощает анализ.

Хмм... Тут, конечно бы, на примерах... Фавн, давай уже твой пример обсосем до косточек. Думаю, дойдем и до этого

[квит]

Вопрос к Квиту: какие еще инструменты (кроме уже упомянутой кус.-лин. регр.) можно использовать, чтобы выделить более детальные тренды? Какие лучше и почему?

Можно попробовать более сложные модели, типа авторегрессии или скользящего среднего

Ну а вобще, от задачи зависит.
В этой задаче, как я понял, Фавн ответы на свои вопросы получил.

[Фавн]

Фавн, давай уже твой пример обсосем до косточек.

Так вперёд, но без меня.

Авторегрессию, скользящее среднее... гетероскедастичность "шума" не нефтяных компаний померять... устранять тренды и мерять шумы... тут можно вертеть вдоль и поперек. Просто как пример использования всего этого арсенала...

Это всё интересно, но я в ближайшие две недели буду очень занят(хотя это и не сегодня и не вчера, но очень вероятно, что с завтрашнего и на полмесяца в полное отсутствие).

В этой задаче, как я понял, Фавн ответы на свои вопросы получил.

Вобщем-то да, я же хотел ответ на а можно ли было предположить "ага модель меняется, что-то не так", так там она и вправду изменилась значительно на надутии пузыря.

[Андрей ОК]

Сообщение от Квита

В этой задаче, как я понял, Фавн ответы на свои вопросы получил

Сообщение от Фавна

Вобщем-то да

Я еще не получил ответа)

Как за 1-3 шага до падения цены можно было точно предсказать это по имеющимся данным? Ну и, аналогично, как можно было предсказать резкий взлет цены?

Сообщение от Фавна

гетероскедастичность "шума" не нефтяных компаний померять... устранять тренды и мерять шумы...

зачем? Не вижу цели. Цель - выше жирным шрифтом.

[Фавн]

Как за 1-3 шага до падения цены можно было точно предсказать это по имеющимся данным? Ну и, аналогично, как можно было предсказать резкий взлет цены?

Простой ответ: никак. Нет таких методов.
Ценным же является уже то, что в горизонте нескольких месяцев однозначно можно было сказать, ой что-то не то пошло, выйду ка сохранюсь в золото, заводик и домик у моря - пережду пару-тройку лет с инвестициями то в нефтянку...

Вот и всё.

Какая информация (в идеале) тебе была бы нужна (я не про инсайдеров)), чтобы предсказать пик и падения?

Пик не предсказать - это "чёрный лебедь" Талеба. Можно понять, что модель изменилась. Модель изменилась, могут быть перемены, риски растут, выйду ка в наличку, сохранюсь, пержду пару лет, за которые можно убедиться "ничё не понимаю" или ну да, как и предполагал пузырь и его лопание, ещё подожду и снова вложусь.

зачем? Не вижу цели.

Ну просто собственно это и есть запрос "выжать всю доступную информацию из конкретного временного ряда" и одновременно продемонстрировать как можно больший инструментарий. Это и есть разобрать по косточкам в моём понимании.

Цель - выше жирным шрифтом.

Это не цель. Это вопрос из разряда: скажите, а как можно за короткое время(день-месяц) гарантированно стать долларовым миллионером или даже миллиардером?
Наивный вопрос.

[Андрей ОК]

"чёрный лебедь" Талеба

Не знаю такой фамилии в теории обработки сигналов. Следовательно, априорно ересь и анафема))
****

Пик не предсказать

и

могут быть перемены, риски растут, выйду ка в наличку, сохранюсь

По-моему, противоречие.

Простой ответ: никак. Нет таких методов....

Ты ж не специалист в области обработки сигналов, откуда такая категоричность?))

[Андрей ОК]

Сообщение от Квита

Теперь вопрос - есть ли качественное различие в графиках 2-4, 3-5?
Если да, то как его сформулировать?

Е = а*t,

где Е - мат.ожидание, t - время, а - некий коэффициент. На графиках 2, 3 а = 1, на граф. 4, 5 а > 1, может, даже равно t в положительной степени.

[квит]

Сообщение от Фавн

Простой ответ: никак. Нет таких методов.
Ценным же является уже то, что в горизонте нескольких месяцев однозначно можно было сказать, ой что-то не то пошло, выйду ка сохранюсь в золото, заводик и домик у моря - пережду пару-тройку лет с инвестициями то в нефтянку...

Вот и всё.

Пик не предсказать - это "чёрный лебедь" Талеба. Можно понять, что модель изменилась. Модель изменилась, могут быть перемены, риски растут, выйду ка в наличку, сохранюсь, пержду пару лет, за которые можно убедиться "ничё не понимаю" или ну да, как и предполагал пузырь и его лопание, ещё подожду и снова вложусь.

Ну просто собственно это и есть запрос "выжать всю доступную информацию из конкретного временного ряда" и одновременно продемонстрировать как можно больший инструментарий. Это и есть разобрать по косточкам в моём понимании.

Это не цель. Это вопрос из разряда: скажите, а как можно за короткое время(день-месяц) гарантированно стать долларовым миллионером или даже миллиардером?
Наивный вопрос.

Ну Фавн, ну молодца!!!!!
Что ни фраза - в десяточку!

Подписываюсь под его словами. Как гриться, ни добавить, ни прибавить

[квит]

Е = а*t,

где Е - мат.ожидание, t - время, а - некий коэффициент. На графиках 2, 3 а = 1, на граф. 4, 5 а > 1, может, даже равно t в положительной степени.

Не, не так.
Мат ожидание Е(y(t))=5+2*t, мы же к этой детерминированной модели добавляли шум.
Мат ожид. у обоих графиков одинаковое, меняется именно дисперсия.

Но в любом случае, это количественная оценка - а вопрос был, в чем качественное различие?

[Андрей ОК]

Ну Фавн, ну молодца!!!!!
Что ни фраза - в десяточку!

Блин, как так?

Почему это нет таких методов, если мы даже практически на глазок (тупо построив корреляцию и рукой нарисовав 3 полоски) смогли заметить, что модель меняется и надо с нефтяными инвестициями завязывать? А если б мы не на глазок?

в чем качественное различие?

Со временем точность прогноза для случаев с постоянной дисперсией остается одинаковой, а для случаев с увеличивающейся дисперсией ухудшается в геометрической прогрессии.
Качественное различие - в возможностях прогноза.

[квит]

Почему это нет таких методов, если мы даже практически на глазок (тупо построив корреляцию и рукой нарисовав 3 полоски) смогли заметить, что модель меняется и надо с нефтяными инвестициями завязывать? А если б мы не на глазок?

Потому что мы замечали, что модель меняется, после того, как это призошло.

А ты хочешь, чтоб модель тебе предсказывала ее (модели) изменения заранее.

Мат. модель меняется при изменении внешних условий.
Сами эти условия лежат вне рамок мат. модели.

[Андрей ОК]

Квит, а разве изучая смену разных моделей в экономике нельзя найти "узоры", которые бы более-менее достоверно предвещали смену модели?

[квит]

Квит, а разве изучая смену разных моделей в экономике нельзя найти "узоры", которые бы более-менее достоверно предвещали смену модели?

Ты сейчас технический (точнее, графический) анализ имеешь в виду?

Или про какие узоры речь?

[Андрей ОК]

Ты сейчас технический (точнее, графический) анализ имеешь в виду?

Как бы да. Только шире

[квит]

Рассмотрим техническую систему.

Вот летит самолет.
Его положение в пространстве и времени описывается некоторой системой уравнений.
Которые задают закон его движения.

И мы можем даже по этим уравнениям предсказать поведение этой системы при изменении входных воздействий, которыми мы можем управлять.

Например, при увеличении числа оборотов двигателя и изменении угла закрылков, нам эти уравнения дают ответ, будет ли самолет снижаться/подниматься.
Это то, что мы можем предсказать.

И вот теперь - хуяк!!! - у самолета отвалилось крыло.
Будет ли поведение системы описываться теми же уравнениями?

Как мат. модель могла предсказать момент отрыва крыла?
(или сбития вражеской зениткой?)

[Фавн]

Так, ну ка не материтесь тут.
Женские попы - это святое, а "хуяк" - это уже сакральное и не поминай в суе.

Академичнее друзья, академичнее: обломалось крыло...

[квит]

Ну, дык...

Ситауция-то нестандартная, нерядовая, незаурядная.

Не каждый день крылья отваливаются.

Пассажиры моляться, командир корабля материться, стюардессы опустошают запасы спиртного, кто-то уже в обмороке...

[Андрей ОК]

у самолета отвалилось крыло.
...
Как мат. модель могла предсказать момент отрыва крыла?

Всякие разные спектры колебаний и прочие дефектоскопические параметры ясно покажут, что щас что-то случится, и это будет где-то в районе правого бока. Фига ли, для того дефектоскопы и установлены на еропланы.

ПС. Что-то темы из персональных разделов не отражаются в "Новых сообщениях"

[квит]

Блин, Андрей ОК, я ж тебе совсем о другом толкую.
И вопрос другой, не тот, на который ты ответил.

Я чёт не въехал - ты реально не понял, о чем я говорил, или это ты так прикалываешься???

[Андрей ОК]

Реально не понял.

Ну и еще мысли по теме самолета.

Модель полета самолета при отрывании крыла не меняется. Меняются переменные: общее давление снизу на несущие поверхности (уменьшается в 2 раза), распределение давления (100% давления оказывается правее/левее оси самолета) и т.д. И модель вполне может предсказать, "а что будет, если...". А вот эти "если" определяются в режиме реального времени дефектоскопами и прочими датчиками.

Будет ли поведение системы описываться теми же уравнениями?

Думаю, да. Только переменые поменяются.

[Фавн]

квит
Слушай, расскажи лучше про авторегрессию, автокорреляцию(чего, как, зачем) и чего можно ещё додоить из рядов нефть-ртс...
Разным инструментарием повертеть(пусть он даже ничего особо интересного и не открывает, но чтобы знать как)...

ну вобщем вот чего нибуть такое:

Авторегрессию, скользящее среднее... гетероскедастичность "шума" не нефтяных компаний померять... устранять тренды и мерять шумы... тут можно вертеть вдоль и поперек. Просто как пример использования всего этого арсенала...

[Фавн]

Андрей
Вот рванула нефтяная вышка BP в мексиканском заливе.
Цена акций пошла вниз.
Завели дело уголовное на GoldmanSacks.
Цена акций пошла вниз.

Как по-твоему эти события могли проявлять себя в котировках акций предшествующих этим событиям?
По-моему, никак.

[Андрей ОК]

Случайности типа рванула вышка - сильно не повлияет. А вот завели уголовное дело - это не случайность, это отражение борьбы элит и предыдущей сложной динамики. Вполне возможно, что она могла бы как-то отражаться.

[квит]

Эх, Фавн, опередил...

А я тут уже объяснение подготовил, в картинках.

[Фавн]

квит
Если картинки подготовил - размещай.
Интересно взглянуть.

Андрей ОК

Вполне возможно, что она могла бы как-то отражаться.

Борьбу элит в акциях голдмана рассмотреть...
Пости эксельку с дневными котировками акций голдмана будем искать борьбу элит...
искать будем...
через авторегрессию и скользящее среднее...
да, модель ARMA
надо же когда-то уже...

[Андрей ОК]

Квит, обязательно в картинках. Можно про самолет, там все очевидней, чем с этими Sucks-ами.

Пости эксельку с дневными котировками акций голдмана будем искать борьбу элит...

Найти что ль какой-нить ВР про работу какой-нить техники...

[квит]

Квит, обязательно в картинках. Можно про самолет, там все очевидней, чем с этими Sucks-ами.

Андрей ОК, возьмем ситуацию еще проще, зато рассмотрим ее подробнее.

Вот смотри.
Допустим, ты живешь на 9 этаже.
И каждый день квасишь пивасик.
И бутылки выбрасываешь в окно.
Ну как выбрасываешь - высовываешь руку в окно и разжимаешь пальцы.













Построим мат. модель движения исследуемого объекта (бутылки пивной стандартной).

Зададим систему координат с центром в точке начала движения.
Ось х пустим вертикально вниз.
По двум другим координатам будем считать, что движения нет (это для упрощения).
За начальный момент времени выберем момент движения объекта вниз.
Сопротивлением воздуха, ветром и прочими факторами, которые незначительно могут искажать траекторию, пренебрегаем.

Тогда наша модель, описывающая закон движения исследуемого объекта, будет иметь вид:

1. Ускорение
а_х(t)=g, а_y(t)=0, а_z(t)=0.

2. Скорость
v_х(t)=g*t, v_y(t)=0, v_z(t)=0.

3. Перемещение
x(t)=g*t²/2, y(t)=0, z(t)=0.

Все, модель построена. (для Фавна - можно сказать, что мы провели структурную и параметрическую идентификацию, правда в упрощенном виде, но все-же...)

Что нам эта модель дает?
Она дает нам очень многое - можно сказать, что мы, имея эту модель, знаем закон движения, т.е. можем получать ответы на такие, например, вопросы:
1. Зная высоту дома, можно сказать, за какое время бутылка упадет на землю.
2. Можно сказать, на какой высоте будет бутылка в опр. момент времени
3. Можно сказать, какая будет скорость у бутылки на уровне, например, 6,5,4 этажей.
и т.д.


Итак, продолжим.
Предположим, у тебя на 5 этаже появился новый сосед, который бухает водяру.
И как-то раз, когда ты выкидывал очередную бутылку, он высунулся в окно (допустим, проблеваться)
И вдруг - ху (а, да, Фавн, я помню-помню!!!)
Так вот, и вдруг - бумц!!! - твоя бутылся встречается с его репой.












А теперь все те же вопросы.
1. Будет ли движение бутылки после встречи с чаном соседа описываться той же самой мат. моделью?
2. Можно ли, используя мат модель, предсказать появление тыквы соседа в окне?

[Андрей ОК]

Будет ли движение бутылки после встречи с чаном соседа описываться той же самой мат. моделью?
Можно ли, используя мат модель, предсказать появление тыквы соседа в окне?

Ситуация с чаном соседа выходит за рамки применимости модели, т.к. нарушаются допущения. Любая физ. модель строится под какую-то конкретную задачу (а не "вообще"), с заданной точностью. Если задача - определить место падения бутылки с точностью +/- 100 м - то модель вполне годная. Если надо определить силу +/- 30%, с которой бутылка упадет - то тоже пойдет.

И еще. Чем отличается физическая модель от статистической? Корректно ли сравнивать физ. модель со статистической? (Это я к тому, что про бутылку - это физ. модель, выведенная из законов Ньютона и никак не связанные с наблюдениями за бутылкой; а временные ряды - это, наверно, статистическая модель, никак не связаная с законами Ньютона).

ПС. Картинки прикольные)

[квит]

И еще. Чем отличается физическая модель от статистической? Корректно ли сравнивать физ. модель со статистической? (Это я к тому, что про бутылку - это физ. модель, выведенная из законов Ньютона и никак не связанные с наблюдениями за бутылкой; а временные ряды - это, наверно, статистическая модель, никак не связаная с законами Ньютона).

Если бы мы не знали законов Ньютона. мы могли бы его вывести, наблюдая за бутылкой.

Ты проходишь по своему замечательному подъезду, и всем соседям даешь задание - фиксировать момент пролета бутылки мимо своего окна.
Поскольку тебе с ними не повезло - один забивает косячок, другой пыхает "Момент", третий ширяется гериком - то естественно, данные они снимают с погрешностями.

Но по наблюдениям ты сможешь сделать вывод, что модель движения
x(t)=g*t²/2+w(t),

где w(t) - некоторая случайная величина, отражающая неточности измерения.

Вот тебе пожалуйста, статистическая модель.

Можно даже по данным эксперимента изучить свойства этой случ. в-ны.

Кстати, такая же модель по структуре получилась бы, если б мы хотели учесть влияние ветра, восходящих/нисходящих потоков и пр. Тоже была бы случ.в., которая входила бы в модель

[asodax]

Немного возвращаясь к обсуждению про "нефть", ряды и пытаясь увязать пример про бутылку.

Как я все это вижу.

В примере с бутылкой модель движения нам известна и она, в принципе, выводима.

С рядами у меня возникает вопрос: есть ли возможность подобрать некую функцию, хотя бы примерно описывающую наблюдаемое поведение.

В пору университета, помнится, на "численных методах" мы щупали метод поиска новых значений функции на основе известных - через полиномы Лежандра.
Может и подойдет.

[квит]

С рядами у меня возникает вопрос: есть ли возможность подобрать некую функцию, хотя бы примерно описывающую наблюдаемое поведение.

Можно.
Построив регрессионную зависимость.

[квит]

Фавн, приведи, плиз, свежие данные по RTS-Brent, проведем их анализ.

[Фавн]

Ок. И ещё газку добавлю.
Завтра-послезавтра или на неделе.

[Фавн]

Прикрепил две зараренных эксельки:
RTS_Brent_1995_2010.rar - это ртс и нефть с 95го по 12 мая 2010го

А это с газом:
RTS_Brent_NG_2007_2010.rar
но так как инфа по газу лишь с 2007, то и вся инфа с какого-то числа 2007го по 12 мая 2010го
Пользуйтесь с газом, без газа, кто как хочет ещё сиропу добавить и по бокалам разлить с трубочкой
Собственно прикреплены тут где-то:

[квит]

Ты собираешься на бирже играть?
На форексе?

Нет, но тут бывают и такие фантазёры.

Фавн, после просмотра нескольких тем у тебя в разделе, меня начали терзать смутные сомнения, что ты все-таки немного слукавил, отвечая мне на вопрос?

[Фавн]

Фавн, после просмотра нескольких тем у тебя в разделе, меня начали терзать смутные сомнения, что ты все-таки немного слукавил, отвечая мне на вопрос?

Не то чтобы слукавил, а предостерёг.
Ну вот ЧёртовРай хотел торговать(мечтал как бы об этом), книжку тут какую-то рекоммендовал по оценке компаний...
Путешественница, что-то делала по каким-то принципам с ПИФа на ПИФ.
И я испугалс, ну думаю светлые головы появились и сейчас всё тут форексом или дэйтрейдингом зафлудят...
Иеро теоретически умеет всё и может начать рассказывать, что знает как надо, знаем мы эти байки.

Вобщем-то да, ту практически никого нет.
С другой стороны, да... когда-то на бирже я буду, но точно не "играть", а инвестировать. На форексе - никогда.

[квит]

Продолжаем наш пока еще предварительный анализ.

Рис. 1.



На графике корреляций я бы вместо трех больших выделил больше мелких частей, когда между рядами была линейная связь.
А она была почти всегда, только с разной силой. (либо ее не было вообще - график горизонтальный)

При изломах линии линейной связи можно анализировать - что происходило в мире, какое внешнее событие изменило характер связи.

На самих графиках ВР можно выделить участки с линейным трендом.
Рис.2.





а можно и с полиномиальным.
Рис. 3.

[квит]

Этап 2.
Следущий этап - выделение линейного тренда.
Это, как я понял, ты делать умеешь.

Этап 3.
Анализ данных без линейного тренда.
После нахождения и удаления лин. тренда уже можно смотреть, что получилось.

1) Мат. ожидание будет равно нулю.
2) Дальше смотрим, есть ли еще не выявленные закономерности в данных (возможно более сложная связь, чем линейная; сезонность; аномальные наблюдения и т.д.)
3) Проверям дисперсию - постоянна она или нет (гетероскедастичность)
4) проверяем на однородность - одно и то же распределение в разные моменты времени, или нет.

Если ответы - да, нет, да,да - то мы получили стационарный ряд в узком смысле.

Это значит, модель адекватна, и при условии неизменности внешних данных, ее можно использовать для прогноза.

Й-у-ху!!!

[квит]

В принципе, алгоритм работы я привел.
Можешь то же самое с газом сам сделать?

[квит]

Кстати, Фавн, а че ты мой вопрос убил???



Я там просто тему хотел развить, и зашел издалека, а ты так прям - хрясь!!!

[Фавн]

Кстати, Фавн, а че ты мой вопрос убил?

Про трейдеров что ли?
Ну, как скажешь... возвернул... ищи где-то выше свой вопрос и мой ответ.
Ты трейдер что ли?
Зачем они тебе, трейдера эти?
Ты давай аналитический инструментарий демонстрируй и развивай.

В принципе, алгоритм работы я привел.

Вот и работай. Чё за трейдеров-то трендеть...

Можешь то же самое с газом сам сделать?

Могу.

P.S.
↓↓ Засовывание картинки в сноску выглядит так

в данном случае в качестве адреса картинки прописан:
http://project.megarulez.ru/forums/p...s/2042/3_1.gif

картинки лучше делать gif расширения, так весят вроде меньше(или jpg весит меньше... а ладно)
делаешь принтскрин, потом, например, в Microsoft Office Picture Manager экспортируешь как gif или jpg
прикреплять при этом картинки к месаге смысла нет

P.P.S
картинки удобно постить в местной галерее
я делаю это в разделе для сообщений, в заглавиях и описаниях пишу "надо мне надо" и т.п.
в gif наши картинки лёгкие-лёгкие...

[Фавн]

Добавим газку…
Визуальный анализ...
Итак, 657 пар циферок газа и РТСа

Нормировал.
↓↓ Картинка целиком и натяжка на прямые

Занумерованы симпатичные мне «фигуры»(6 штук в порядке их появления), прямых я думаю разумно делать 5. Это я от руки нарисовал для выразительности.
Как думаешь надо пятую фигуру поделить между соседями?
Но тогда это утяжелит фигуру 6 и либо жучка надо будет рисовать отдельно, либо прямая жучок-месяц накренится и нижний рог месяца будет сильно выпирать, и жучок будет не так ровно на прямой лежать…

Туточки фигуры под своими номерами и в скобках отрезки данных (с какого по какой включительно взяты)
↓↓ 1 – жучок (1;91)

↓↓ 2 – открывашка (92;230)

↓↓ 3 – почти горизонтальная прямая (231;299)

↓↓ 4 – наклонная (300;365)

↓↓ 5 – горизонтальная прямая (366;450)

↓↓ 6 – вышел месяц из тумана (451;657)

О какая красота(знаменует собой возвращение на круги своя после кризисного шухера):
↓↓ 6+1 – жучок и месяц из тумана (1;91)U(451;657)

Таак... дальше собственно эти прямые через МНК сделать, устранять тренды и выёживаться дальше на каждом отрезке по плану... ну... дай то бог... может быть и будет тут это... однажды...

"Что дальше Дава, что дальше?" х\ф Ликвидация
А вот предположим выявили все закономерности, устранили тренды, убрали сезонности и выскочек.
Или таки убедились в геторскедастичности, ещё какой напасти...
Чем прогнозировать?

ARMA, ARIMA, ARCH, GARCH, IGARCH, EGARCH - знаешь такие слова? Владеешь методами?

[Фавн]

↓↓ Прямые связи газа и РТС на разных промежутках

Было любопытно посмотреть как на тех же промежутках будут вести себя графики газа и РТС отдельно со своими трендами именно на этих промежутках.
Посмотрел:
↓↓ РТС с корявыми трендами

↓↓ Газ с корявыми трендами

↓↓ Разница котировок с корявыми трендами у РТСа

↓↓ Разница котировок с корявыми трендами у газа

Собственно видно, что нужно выбирать отдельно промежутки трендирования для каждого графика. Возникает вопрос: а какого лешего визуализировать первый график?
Что из него можно взять для анализа?
Кроме:

При изломах линии линейной связи можно анализировать - что происходило в мире, какое внешнее событие изменило характер связи.

Ещё из косяков в первом графике:
1) по оси X у меня идёт индекс РТС, по оси Y газ (т.е. я РТСом газ объясняю ну мозгааа, ну мозгаа...)
2) часть желтенькой надо было отдать изумрудной куче.
Ну, всё равно все переделывать.

[Фавн]

вопрос: а какого лешего визуализировать первый график?
Что из него можно взять для анализа?

Ах, да! Мы же по диаграмме рассеяния выбираем участки на которых строим линейную регрессию. И собственно строим её. Объясняем например РТС через газ, для этого у меня там надо выразить x(y).(про зачёркнутое: это неверно)

Но вот вопрос: после 2 и 3го этапа(который уже имеет дело не с диаграммой рассеяния, а с временными рядами по отдельности) ты делаешь какой-то вывод о модели.
О какой модели?
Максимум это может говорить об адекватности моделей трендов выбранных на отдельных графиках. И вообще говоря для прогноза имеет смысл лишь последний тренд, а все предыдущие никакого вклада не вносят в "модель" последующего тренда.

И это ничего не говорит об адекватности моделей линейной регрессии найденных по диаграмме рассеяния.


Ведь так?
Как проверить адекватность моделей зависимости РТС от газа на выбранных мной 5 участках(участках одного цвета)?

[Фавн]

Другая разбивка
↓↓ РТС(газ)

Нефть на тех же промежутках
↓↓ РТС(Brent)

квит, а ты бы как разбивал?

P.S.
прямые тут - это просто экселькино построение тренда для группы, просто так для некоторой наглядности и возможных мыслей

[квит]

Ого, нифига, ты тут наколбасил!!!

По частям отвечать буду.

С другой стороны, да... когда-то на бирже я буду, но точно не "играть", а инвестировать.

А чем игра от инвестирования отличается?

Ты трейдер что ли?
Зачем они тебе, трейдера эти?

Вот и работай. Чё за трейдеров-то трендеть...

Спокойно, Фавн, спокойно...
Я лучше отдельную тему создам, а тут по инструментарию будем трындеть

↓↓ Засовывание картинки в сноску выглядит так


в данном случае в качестве адреса картинки прописан:
http://project.megarulez.ru/forums/p...s/2042/3_1.gif

картинки лучше делать gif расширения, так весят вроде меньше(или jpg весит меньше... а ладно)
делаешь принтскрин, потом, например, в Microsoft Office Picture Manager экспортируешь как gif или jpg
прикреплять при этом картинки к месаге смысла нет

P.P.S
картинки удобно постить в местной галерее
я делаю это в разделе для сообщений, в заглавиях и описаниях пишу "надо мне надо" и т.п.
в gif наши картинки лёгкие-лёгкие...

Да я понял, понял!!! (По крайней мере, со 2 раза )
Мне просто показалось удобнее, когда картинку сразу видно.
Но если ты настаиваешь - буду делать под сносками

[квит]

ARMA, ARIMA, ARCH, GARCH, IGARCH, EGARCH - знаешь такие слова? Владеешь методами?

Странно задавать такой вопрос, если я эти термины озвучивал уже


AR - autoregression - авторегрессия
MA - moving average - скользящее среднее
CH - conditional heteroscedastic - условная гетероскедастичность

Слова знаю.
Методами (некоторыми) владею.

[Фавн]

А чем игра от инвестирования отличается?

Ну как минимум словами. Мне слово игра приминительно к деньгам не нравится.
Но вообще ещё инвест горизонтом, целями, методами, ещё чем-то вероятно... Если "игрок" ИМХО ищет чем поспекулировать(продать падающее(даже не имея оного)), купить резко взмывающее(хотя и непонятно почему) и даже вложиться в пузырь, то инвестор ищет, то что более разумно и скорее всего будет спокойно расти. Бафетовское "выбирать, как если бы ты хотел держать эти бумаги всю жизнь".
Игрок делает больше сделок(дэй-трейдинг, скальпинг в пределе - вот апофеоз игры - толково за день нельзя сколь-нибудь значимого вывода сделать, можно только попытаться поймать резкое движение и вложиться туда с плечом) - это находка для брокера. Инвестор в моём представлении делает сделки реже, к спекуляциям не склонен, должен знать долгосрочные перспективы(понимать, где какие пузыри зреют. где какое сумасшествие назревает, где какие проблемы не решены и т.п.) - чтобы корректировать портфель или вовсе выходить в тушонку-макароны-крупы и клочок земли с оружием, продовольствием и системой жизнеобеспечения на пару-тройку лет нормальной жизни и пятёрочку впроголодь

Ну, как-то так. До этого ещё далеко и возможно я успокоюсь таксистом в Нью-Йорке, а отнюдь не финансистом-статистиком и около того. Но что-нибудь финансово-статистико-аналитическое с инвестированием на досуге более мечтабельно. "Финансист" Драйзера оказал на меня своё культурное влияние, хотя я его так и не прочитал(но мне рассказывали...).

Я лучше отдельную тему создам, а тут по инструментарию будем трындеть

Да где хочешь. Тебе сделать модераторские полномочия в этом разделе? (ну там если неадекват какой с основной мозайки набросится и просто для удобства расчищать собственную тему) - это не к чему не обязывает, просто может быть удобнее тебе править свою тему от возможного флуда? Только надо аккуратнее жать на кнопочки(а то как-то Чёртов Рай зашёл с компа Путешественницы(у неё модераторские(а он, видимо, окучивает девочку, молодец, да, красивая она - молчащее украшение этого злачного места)) и снёс мою месагу с её правами-то, краснел потом виртуально...)

Странно задавать такой вопрос, если я эти термины озвучивал уже

Всё страньше и страньше это ничего, это бывает.

Слова знаю.
Методами (некоторыми) владею.

Покажи как-нибудь всё это, пусть даже это не будет вести к каким-то осмысленным выводам по конкретному примеру, но было бы ясно что с рядами делается и в какой последовательности.

Ещё надо бы зарядить зависимость РТСа от нефти и газа одновременно(как бы уже "множественная регрессия" что ли это будет?)

[квит]

Добавим газку…
Визуальный анализ...
Итак, 657 пар циферок газа и РТСа

Не, все-таки надо начинать с визуального анализа самих временных рядов. Тогда будет понятна их связь.

↓↓ ряды с кусочной-линейной регрессией

(Фавн, мне все-таки кажется к письму удобнее цеплять, чем куда-то к галерее, нет? Скажешь нет, буду цеплять к галерее.

И джипег легче гифа, кстати)

[квит]

Теперь по графику корреляций - поскольку есть еще зависимость от времени - данные надо еще между собой соединять, чтоб видеть, какое наблюдение за каким идет по порядку.
Тогда случайно оказавшиеся рядом мы не объединим ошибочно в один кластер, как у тебя это местами получалось.

↓↓ диаграмма корреляции

[квит]

Возникает вопрос: а какого лешего визуализировать первый график?
Что из него можно взять для анализа?

Это ты какой имел ввиду?

Ещё из косяков в первом графике:
1) по оси X у меня идёт индекс РТС, по оси Y газ (т.е. я РТСом газ объясняю ну мозгааа, ну мозгаа...)

Вобще-то не принципиально, мы же связь между ними смотрим, и все. так что с мозгами пока нормуль

2) часть желтенькой надо было отдать изумрудной куче

Это - да.

[Фавн]

мне все-таки кажется к письму удобнее цеплять

Делай как тебе удобно.

Это ты какой имел ввиду?

Имел ввиду РТС от газа
(диаграмма рассеяния что ли она называется... ты её называешь диагрммой корреляции(хотя пардон, где там корреляция?))

Тогда случайно оказавшиеся рядом мы не объединим ошибочно в один кластер, как у тебя это местами получалось.

У меня каждая группа - группа от разных времён, занумерованные в порядке появления. У меня нет заявленного тобой смешивания, "ошибочного объединения в один кластер".

Это - да.

Далее это и сделано в новой разбивке. (пост 82)

Вобще-то не принципиально, мы же связь между ними смотрим, и все.

Будут ли построенные по группам тренды - регрессиями?
Если будут, то принципиально. Какой переменной, какую объясняем.

Тогда будет понятна их связь.

Понятна?
Тут только приходит в голову, что собирать в группы для отыскания регрессии надо по временам (от0до200),(от200до400), (с400до конца) - 3 кучи.
Так? Что видишь ты?

Давай шустрей, регрессии ты зимой строить будешь?

[квит]

Давай шустрей, регрессии ты зимой строить будешь?

Фавн, ты сам перечитай, что написал.

Глазами другого человека.

[Андрей ОК]

и всё-таки я настаиваю, чтобы ты шёл в свой персональный раздел...
\\Фавн

[Фавн]

Глазами другого человека.

У меня нет глаз другого человека.
На этом сайте я не надолго. Скоро его покину на веки вечные. Было бы интересно пробежаться по заявленным методам, а ты уж ооочень медленно идёшь.

Было бы здорово если пошустрее, по существу, без отвлечения на второстепенные вопросы.

[Андрей ОК]

и всё-таки я настаиваю, чтобы ты шёл в свой персональный раздел...
\\Фавн

[Фавн]

Андрей ОК
За 10 страниц обсуждения не сделано НИ-ЧЕ-ГО
Твои вопросы - это офтоп чистейшей воды.

Как определяется длина линии, которой осуществляется подгонка?

Какая линия? Подгонка чего?
Линия бесконечна, информацию несут коэффициенты в прямой.

Ты все это в экселе фигачишь? Макросами или вручную?

То что нафигачено сделано экселькой и встроенными в эксельке трендами. Повторюсь: ещё НИЧЕГО не нафигачено.

Зачем вообще там рисовать от руки аппроксимационные линии? Это ж субъективизьм и волюнтаризьм полнейший

Это не нужно делать. Я сделал это для наглядности, когда не знал, как в эксельке тренд проводить.

Можно, только незарегистрированным пользователям они не видны.

Это смотрят 3 человека: квит, я и ты.

Что вопрос о теоретических основах кусочно-линейной регрессии и технике ее исполнения?

А вопросы о теоретических основах проведения прямой линии или о теоретических основах координат, тебя не интересуют? Теоретические вопросы теории чисел ты тоже собираешься разбирать? Линия проводится методом наименьших квадратов. Читать об этом в книжке.

Вопрос прежде всего о выборе групп данных на которых проводить регрессию и оценке как хорошо РТС объяснён нефтью, а затем при множественной регрессии нефтью и газом. Вот это вопрос.

Мне больше интересно понять... хм... суть

Вот заводи отдельную тему и понимай суть.
Меня интересуют заявленные методы.

если хочешь пробежаться - ставь последнюю Статистику от СтатСофт (на рутракере есть, ссылку дать?)

ой, идиот...

[Андрей ОК]

и всё-таки я настаиваю, чтобы ты шёл в свой персональный раздел...
\\Фавн

[квит]

На этом сайте я не надолго. Скоро его покину на веки вечные.

Ну, что ж...
Жаль, конечно, что покинешь.

Удачи тебе в Нью-Йорке (или куда ты там намылился )

[квит]

Было бы интересно пробежаться по заявленным методам, а ты уж ооочень медленно идёшь.

Было бы здорово если пошустрее, по существу, без отвлечения на второстепенные вопросы.

Иногда нет времени, иногда - настроения.
Да и форум для меня - в основном, вид отдыха и развлечения.

Так что насчет пошустрее - извиняй.

П.С.
Но если ты настроен серьезно, рассмотри возможность платных консультаций.

Тогда будет так, как ты хочешь.

Быстро.
Четко.
Профессионально.

[Фавн]

Ну, шож, воля твоя.

рассмотри возможность платных консультаций

Да ещё чего
Нормальные герои всегда идут в обход.

P.S.
Платное будет. Но позже.
А покамест на доброй воле случайных попутчиков и собственном энтузиазме.

P.P.S.
Так что продолжай-продолжай
Медленно
Расплывчато
и
Непрофессионально
Это тоже востребовано

[квит]

Медленно
Расплывчато
и
Непрофессионально

Уел-уел...

[Андрей ОК]

Квит, про кусочно-линейную регрессию расскажешь подробнее?

1) Точки разрыва ты задаешь в явном виде?

2) Какую новую информацию дает аппроксимация точек прямыми на графике корреляций? (=зачем это надо делать?)

Сообщение от Фавна

Да ещё чего
Нормальные герои всегда идут в обход.

Гы, красавец, на халяву решить производственный вопрос хочешь? А то еще и защитить диссертацию, ась? Маладца))

Сообщение от квита

Но если ты настроен серьезно, рассмотри возможность платных консультаций.

ну погоди, надо ж понять, что за аноним передо мной))) А деньги я предлагал, там как бы и про то самое, но в другом ракурсе и ваще

[квит]

Ого, ребята!!!
Неслабо вас тут кукумарило!
А также колбасило, колдобило и контрапупило.




Андрей, создал бы тему в своем разделе, я бы без проблем ответил.

Не было бы эскалации конфликта

[Фавн]

Он так за тебя дрался, так дрался!!!
Ценит.

[квит]

А за меня-то почему?

Он дрался за свою свободу.

Свободу слова.

[Фавн]

Ну... свобода слова, это священно
Молодец, он. Только он мог не драться и не воспользовался этим.

[квит]

Андрей

1) Точки разрыва ты задаешь в явном виде?

Есть методы определения границ кусочной регрессии. Но поскольку они работают с данными, в которые входят случайные величины, то, естественно, они дают свою стат. погрешность.

Примерно такую же, как и определение этих границ "на глаз".

2) Какую новую информацию дает аппроксимация точек прямыми на графике корреляций? (=зачем это надо делать?)

Если точки ложатся на прямую - значит есть линейная корреляционная зависимость, а чем ближе к прямой - тем ближе зависимость к функциональной.

[Samirat]

Сообщение от квит

Андрей ОК, возьмем ситуацию еще проще, зато рассмотрим ее подробнее.

Вот смотри.
Допустим, ты живешь на 9 этаже.
И каждый день квасишь пивасик.
И бутылки выбрасываешь в окно.
Ну как выбрасываешь - высовываешь руку в окно и разжимаешь пальцы.













Построим мат. модель движения исследуемого объекта (бутылки пивной стандартной).

Зададим систему координат с центром в точке начала движения.
Ось х пустим вертикально вниз.
По двум другим координатам будем считать, что движения нет (это для упрощения).
За начальный момент времени выберем момент движения объекта вниз.
Сопротивлением воздуха, ветром и прочими факторами, которые незначительно могут искажать траекторию, пренебрегаем.

Самое лучшее место в мире - курилка НИИ. )))

Я вам не рассказывала как я проходила послеинститутскую "сертификацию" в Институте электросварки им. Е.О.Патона?

Первый тест на профпригодность "А за водкой сгоняешь?"

[квит]

бутылку из-под тоже потом в окно выкидывали? )))))

[Samirat]

Сообщение от квит

бутылку из-под тоже потом в окно выкидывали? )))))

нет))) была же девочка-студентка на подхватах. было кому навести порядок и привести пространство в рабочий вид.))
я о том, как мне на полях газет объясняли важные и существенные вещи...)))