Мышление в условиях неопределенности

[Губернатор]

Предположим вам требуется решить некую задачу. Если у вас есть абсолютно все 100%-но верные данные, необходимые для ее решения, тогда добро пожаловать сюда.

В жизни такого, увы, почти не бывает.

А как бывает? А так:

1. Данные не всегда верны. Т.е. верны с некоторой вероятностью. Или верны, но не все, а лишь неизвестная часть. Или любая комбинация из этих двух случаев.

2. Данные не всегда определены. Т.е. некоторые данные заданы нечетко, а, например, описательно, приблизительно, качественно и т.д.

3. Данные не всегда полны. Может быть недостаток данных, избыток данных (дублирование).

4. Не всегда известно, что надо получить. Как проверить, что задача выполнена? Как использовать полученный результат? Насколько он верен?

5. Не всегда известны методы решения. Не известны границы применимости известных методов. Не известно время, требующееся для решения каждым из методов, материальные и иные затраты.

6. Некоторые необходимые данные можно получить, только обработав другие данные. Выстраивается сложная алгоритмическая структура.
Не всегда известна заранее ее конфигурация.

Все это делает решение задач процессом творческим, сложным, недетерминированным и т.д.

Как действовать в таких непростых ситуациях? Об этом пойдет речь в этой теме.

Предупреждение

100%-но верных ИСТИН здесь не будет. А будут примеры, размышления, методы, обсуждения, мозговой штурм и т.д.

[Иеро]

Эх, ты прямо предвосхищаешь курс мозаичного мышления... Я как раз по этому принципу его хочу делать.

[Губернатор]

Итак, сначала рассмотрим ситуацию, когда данные не всегда верны.
Что делать в таких случаях.

1. Предположим, что мы точно знаем, что мы хотим получить и как проверить, что мы действительно это получили.
2. Предположим, что мы четко знаем, какие данные нам нужны и каким методом задача решается.
3. Предположим, что мы знаем какие из имеющихся данных достоверны, а какие - сомнительны.

В этом случае алгоритм решения задачи ветвится следующим образом:
1. Рассматриваем случай, когда сомнительные данные предполагаются верными и решаем задачу
2. Случай когда сомнительные данные неверны приравниваем к случаю неполных данных. Т.е. считаем, что их и вовсе нет. И решаем задачу в этом случае. (Как - об этом пойдет речь далее).
3. Случай, когда данные верны с некоторой вероятностью, наиболее интересен: в этом случае мы принимаем сомнительные данные за случайную величину. Далее нам надо определить ее закон распределения, а если это невозможно - принять некий гипотетический (можно рассмотреть несколько вариантов). В этом случае полученный нами результат может быть также случайной величиной с некоторым законом распределения.

А дальше мы анализируем полученные результаты (критерий-то у нас есть) и выбираем наиболее близкий к искомому по критерию.

[Губернатор]

Иеро

Так я уже в рамках этого проекта и работаю

[Губернатор]

Если сомнительные данные могут быть получены в достаточно большом объеме (по-научному это звучит как "репрезентативная выборка"), то закон распределения можно получить проверкой статистических гипотез. Подробнее об этом можно узнать из курса математической статистики.

Пример.

Нам надо проверить, при какой цене товара выручка будет максимальна. Цену мы определяем сами, поэтому она нам известна. Неизвестно количество покупателей товара по этой цене. Его мы и примем за Х. Таким образом, выручка при цене Р составит РХ. Х можно получить путем экспериментов (пробные продажи по разным ценам), путем наблюдения за продажами аналогичного товара в других компаниях, путем анализа спроса на товар и платежеспособности целевой аудитории.

Итак, мы получим набор данных: Х1, Х2, Х3, ... для каждой цены Р
Теперь проверим гипотезу о законе распределения Х. Проверим гипотезу о нормальном распределении, о равномерном и др.
Решим задачу при наиболее вероятном законе распределения и получим условно-оптимальную цену Р.

Однако здесь не все так просто. Рынок имеет свойство насыщаться и параметры закона распределения величины Х изменяются. Поэтому эту задачу приходится решать постоянно, корректируя имеющиеся данные.

[Виктор]

Тёзка, уж не знаю как держится Раппор через несколько тысяч км, дело в том, что буквально за час до твоего первого сообщения тут, я размышлял на схожую тему...

Иеро как-то говорил, что мозг мыслит фрактально, похоже я таки начал понимать о чём идёт речь.

Было время, когда я по своим соображениям занимался фрактальной упаковкой изображений. Не вдаваясь в лишние подробности опишу этот метод: Его фишка в том, что при таком методе упаковки в файл не сохраняется информация об отдельных пикселях изображения, сохраняется информация о сходстве различных областей изображения.

Это означет что в файле с изображением сохраняется информация, что кусок {A}, похож на повёрнутый, растянутый, скорректированный по насыщенности и яркости кусок {C'}. В то время как сами куски {A}, {C'} и {Zю} не сохраняются...

Распаковка производится следующим образом: Берём изображение, заполняем его шумом и в соответствии с информацией сохранённой в файле этот шум переносим, растягиваем, корректируем насыщенность и яркость... Этот цикл повторяем столько раз, сколько нужно, чтобы из былого хаоса выделилось нечто понятное... При этом процесс сходящийся, для восстановления картыны достаточно 10-20 повторений, и, что особенно прикольно, в перспективе можно получить изображение лучшего качества, чем было исходное.


Как это работает у человека? Допустим что в мозгу есть некоторая несколько хаотичная картина мира. Подкидываем туда информацию, скажем из книг. И эта информация начинает складывать в голове картину. При этом информацию можно черпать откуда угодно. Даже не вполне понимая слова. Т.е. что забавно, сами слова изначально могут смысла не нести, но связи между ними несут и со временем они наполнят смыслом сами слова.

Как это происходит в реальности: человек прочитал книжку, не понял. Прочитал другую, тоже не понял. Третью, 20-ю и когда в его голове складывается достаточно чёткая картина, он испытывает инсайт -- переживание по интенсивности сравнимое с оргазмом. Причём можно даже читать одну и ту же книжку...


Например в фильме "13-й воин" главный герой просто слушая тарабарщину несколько дней начал говорить на новом языке. Или же в Ремарковской "Тени в раю" где главный просто разглядывая китайскую бронзу различных эпох в музее стал довольно хорошим специалистом по определению подлинности.

И очень яркий пример такого восстановления информации есть в хорошей книжке "Убить Пересмешника". Там описывается как девочка немногих лет от роду научилась читать!, просто наблюдая как отец водит пальцем по словам в газете.

До сегодняшнего дня я считал что эти явления -- бред, художественный вымысел. Сейчас подумываю, а вдруг это возможно?..

Вот так, немного сумбурненько. Но, если я правильно понимаю принцип, после 10-го/20-го прочтения должно стать понятно .

[Губернатор]

А вот пример решения задачи в условиях нехватки исходных данных:

Карта курорта "Золотые пески".

(подробный анализ примененного приема будет позже)

[Аусма]

Мохнатый

И очень яркий пример такого восстановления информации есть в хорошей книжке "Убить Пересмешника".

Очень хорошая книга. У меня самое первое издание - в "Роман-газете" Родители выписывали, когда мы еще сопливыми были.
Кстати, я научилась читать примерно так же

[Андрей ОК]

Тут, говорят, водяцца специалисты по искусственным нейронным сетям? Так вот они все это дело подробненько разбирают. Аууу! Расскажите!

Ну я ламер в энтом деле, как могу так расскажу.
Алгоритм работы ИНС типа того:
- забивается куча данных
- происходит настройка значимости тех или иных "фактов" - в соответствии с каким-то образцом либо просто по взаимной близости
- таким образом выявляются более и менее значимые "факты"
- удаляя незначимые "факты" и связи мы в итоге можем получить "сущностную схему" событий - их взаимосвязь, главное-второстепенное и т.д.


Вот. Еще есть такая вещь, как вероятностная логика.

Собсна, все наше мышление - вероятностное.

[Губернатор]

Избыток исходных данных.

Простейший пример из линейной алгебры: N линейных уравнений с M неизвестными, где N>M. В этом случае лишние уравнения либо дублируют информацию, заданную основной системой, либо противоречат ей. Лишние уравнения можно выразить через уже имеющиеся, а в случае противоречия можно либо отбросить все противоречащие уровнения, и решать задачу без них, либо получить несколько вариантов решения задачи - с каждым из противоречивых уравнений по отдельности, а затем проверить согласованность решения с практическими наблюдениями.

Примеры:

x + 2y = 5
x + y = 1
2x + 2y = 2

Здесь очевидно, что третье уравнение дублирует второе и его можно смело отбросить, решая задачу по первым двум. В общем случае линейная зависимость уравнений обнаруживается вычислением детерминанта матрицы системы. Если детерминант равен нулю, то имеет место линейная зависимость. Отсюда следует простой алгоритм: Выбираем M уравнений и вычисляем детерминант. Если он равен нулю, заменяем одно из уравнений на другое из оставшихся N-M. Повторяем до тех пор, пока не получим ненулевой детерминант и решаем систему уравнений. Если мы переберем все варианты и такого не найдем, то это значит, что мы имеем не избыток, а недостаток данных.

x + 2y = 5
x + y = 1
2x + 2y = 1

А это - пример противоречивых уравнений. Действительно, уравнение 2 противоречит уравнению 3. Здесь можно решить задачу с каждым из противоречивых уравнений и выбрать наиболее согласующийся с практикой ответ, либо вообще отбросить оба противоречивых уравнения и решать задачу с недостатком данных.

x + 2y = 5
x + y = 1

=> x=-3, y=4

x + 2y = 5
2x + 2y = 1

=> x=-4, y=4.5

В линейной алгебре, конечно, все просто, а в жизни бывает куда сложнее. Тем не менее, алгоритм действий один и тот же: исходные данные надо отфильтровать. Оставить необходимый минимум из наиболее достоверных, четких, непротиворечивых данных. Прочие же можно использовать для проверки полученного решения. В случае противоречий также выделяем непротиворечивые данные и решаем задачу с каждым набором непротиворечивых данных, а затем проверяем полученное решение на адекватность. Либо отбрасываем противоречащие данные.

Если же мы имеем набор статистических данных и знаем, что, например,
x + 2y = 5 (всегда)
x + y = 1 (в 80% случаев)
2x + 2y = 1 (в 20% случаев)

То переменные можно считать случайными величинами (противоречие снимается случайностью) и полученный результат будет также случайной величиной:
=> x=-3 с вероятностью 0.8 и -4 с вероятностью 0.2, y=4, с вероятностью 0.8 и 4.5 с вероятностью 0.2

Также можно поступить и в том случае, когда у нас есть оценка достоверности источников информации:
x + 2y = 5 (достоверность источника информации: 100%)
x + y = 1 (достоверность источника информации: 80%)
2x + 2y = 1 (достоверность источника информации: 20%)

Если сумма досмтоверностей противоречащих источников не равна 100%, то вероятности можно принять как отношение достоверности к сумме достоверности:

x + 2y = 5 (достоверность источника информации: 100%)
x + y = 1 (достоверность источника информации: 80%)
2x + 2y = 1 (достоверность источника информации: 50%)

Принимаем

x + 2y = 5
x + y = 1 (с вероятностью 8/13)
2x + 2y = 1 (с вероятностью 5/13)