"The start of Skynet" (c) - ну, почти.
Nov. 3rd, 2014 09:45 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
arechРебята из DeepMind cделали такую вот интересную штуковину: взяли семь старых игр для Atari и подали картинку с экрана на вход свёрточной нейросети, обучаемой несколько модифицированным алгоритмом Q-Learning. На выходе ждали сигнал, грубо говоря, какую кнопочку на клавиатуре нажимать. А скалярный сигнал {"умер", "выжил", "победил"} использовали для докрутки обучения сети...
"Сначала работало никак.
Через час тренировки - вроде как "понимало, чо надо делать".
Через два - играло лучше, чем любой известный человек.
Через четыре - открыло и стало использовать самую эффективную стратегию игры"
В сумме, по 6 играм подход продемонстрировал результаты, превосходящие все известные подходы до этого, а по 3 играм были побиты лучшие экспертные игроки.
Короче, посоны, я чо думаю...
1. берём данные с маркета как пространство состояний, {"buy","hold","sell"} как пространство действий, значение сделки как reward и повторяем подход.
2. тренируем на истории
3. выставляем торговать.
???
5. PROFIT!!!
Кто в команде? :-D
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2014-11-03 09:14 pm (UTC)1) нейросети - механизм, давно трейдерам известный, многократно перетертый и можно сказать, отработанный :)
2) чтобы они могли находить системы, нужно: а) правильно определить, что есть "входные данные", б) правильно определить критерий успеха
3) НС это уже "тяжелая артиллерия", можно легко обойтись и без них; я лично за пару часов "тупого перебора параметров" нашел две системы, и это мне просто лень было ковыряться дальше; главное хоть примерно понимать, какие именно параметры значимы
4) просто найти системы - недостаточно, нужно еще понимать почему они работают, иначе могут внезапно "сломаться"
5) вследствие п.4), искать системы можно и без всякого датамайнинга; есть версия, что это даже проще :)
no subject
Date: 2014-11-04 08:58 am (UTC)У меня примерно такие же наблюдения, разве что за исключением того, что у меня нет понимания рынка, соответственно, п.5 не сбыточен :(
Но тут ведь вот какое дело. Вероятно, все примеры использования НС и в более широком смысле алгоритмов ИИ, о которых вы писали, представляют собой примеры классов т.н. "обучения с учителем" / supervised learning, когда модель имеет
а) некое априорное знание о предметной области
б) имеет маркированный набор тренировочных данных "вход->правильный выход", на основании которого учится обобщать и находить правильный выход для невиденного ранее входа.
В лучшем случае, там могут использоваться некоторые элементы т.н. "обучения без учителя" / unsupervised learning, когда модель учится находить некую структуру в неразмеченных данных (кластеризация, feature learning и некоторые другие задачи).
В описанной же работе вся соль в использовании третьего класса алгоритмов ИИ - т.н. "обучение с подкреплением" / reinforcement learning. Эти алгоритмы не содержат вообще никакого априорного знания о предметной области и работая с неразмеченными данными, учатся принимать правильные решения на основании отклика внешней среды на их прошлые действия (через так называемую награду / reward). Это самые трудные, сложные и плохо проработанные алгоритмы ИИ, но самые многообещающие, т.к. наиболее полно "эмулируют" поведение и обучение живого существа.
В описанной работе входом модели была только картинка с экрана и ничего больше вообще. Никакого знания о предметной области (особенностях и правилах игр и т.д.) в системе не было; не было у неё доступа и к внутреннему состоянию работающих программ. Она буквально видела только значения яркостей пикселей матрицы экрана и всё! И вот только из одной картинки система "поняла" что делать и "научилась" весьма оптимальным (а иногда и самым оптимальным) стратегиям поведения. Вот это всё безумно круто, потому что повторяет в общем случае самый мощный и универсальный алгоритм обучения из всех известных - жизнь.
Если пофантазировать, то переложение подобных алгоритмов на трейдинг (после решения ряда специфических задач, таких как существенная ограниченность тренировочных данных) может создать чрезвычайно эффективные самообучающиеся торговые системы, которые сначала съедят всех людишек, а потом начнут грызть друг друга :) Если указанные специфические задачи будут успешно решены, то скорее всего именно маркет станет первым в истории массовым местом / профессией, откуда ИИ выбьет человека)
no subject
Date: 2014-11-04 10:36 am (UTC)Я согласен, что это безумно круто, и сам немного опасаюсь, что какие-нибудь гугловские профессора машин-лёрнинга могут свести рынок к шуму, если возьмутся за него правильным образом )))
Но если стоит цель "заработать", а не "сделать крутую штуку", то это несомненный overhead. Мизерная порция априорных знаний сокращает объем работы в миллиарды раз :)
И к тому же, дает понимание, когда систему следует остановить.
Насчет "обучения с подкреплением" согласен, что это интересный и мощный механизм, но всё же это частный случай обучения с учителем, поощрение всё-таки присутствует, пусть и в другой форме?
no subject
Date: 2014-11-04 02:13 pm (UTC)Ну вот пока видимо всё же чего-то не хватает)
Насчёт overhead - согласен, конечно.
> Насчет "обучения с подкреплением" согласен, что это интересный и мощный механизм, но всё же это частный случай обучения с учителем, поощрение всё-таки присутствует, пусть и в другой форме?
Не-не, это две совершенно принципиально разные вещи, не сводимые впрямую одна к другой. Я тут было стал отвечать на этот вопрос и незаметно для себя накатал текста на отдельный пост))) http://zmeygor.livejournal.com/79948.html
no subject
Date: 2014-11-04 08:30 pm (UTC)no subject
Date: 2014-11-04 08:47 pm (UTC)Все (с очень хорошей точностью) методы торговли, широко растиражированные в публике, не работают и нужны лишь только для пополнения количества нового мяса на рынке.
no subject
Date: 2014-11-04 09:26 pm (UTC)no subject
Date: 2014-11-04 09:38 pm (UTC)Что касается вашей выборки - так ведь так все говорят, что дескать "ну ещё! ну вот-вот! яж её почти!...". Это ещё у Фёдора нашего Михалыча в романе "Игрок" хорошо описано (опять параллели с гэмблингом). Но стабильно в течение долгого времени зарабатывают лишь единицы не процентов - промилле. Но ведь зарабатывают же, гады! Поэтому всё немного не так, как кажется, всё ещё хитрее))
no subject
Date: 2014-11-04 09:56 pm (UTC)я слышала, что вроде эллиотчики там уже сделали программу, которая все рисует. но врядли она все сама покупает и продает. но я не настолько в теме, я просто сочувствующая))
no subject
Date: 2014-11-04 10:41 pm (UTC)Не хочу спорить, но 100% не в этом ;)
> у самого казино есть дисциплина и план действия....
;) У самого казино в первую очередь есть матожидание, сдвинутое в его пользу (зеро в рулетке, комиссии в играх и т.д. - всё это любую игру с нулевой суммой превращают в очень прибыльное для организатора дело). На эти полпроцента и живут... Всё остальное - детали заманивания и вытряхивания клиента.
> эллиотчики там уже сделали программу
Знаете, вот все без исключения люди, про которых у меня есть хоть какое-то основание думать, что они реально делают какие-то деньги на рынке, - все они без исключения творения эллиота и прочих "гуру" иначе как ахинеей не называют. Но даже без них, у меня всегда были основания считать аналогично, ибо так говорит простая сермяжная логика. Смотрите: рынок - тоже игра с нулевой суммой (stay away from zero sum games! ^)). В таких играх для того, чтобы кто-то выиграл, кто-то обязательно должен проиграть. Далее, смотрите, условия входов по широкорастрезвоненным граалям всем известны. Это значит, что при формировании некоторых описанных рыночных ситуаций неинформированная толпа будет готова вставать в позы в убеждении об определённом дальнейшем движении рынка. А что вы можете сделать, если у вас достаточно денег и вы знаете, что вот сейчас на рынке мелочёвка покупает мелкие позы с довольно короткими стопами? Вы будете продавать им актив, а т.к. денег/актива у вас больше, вы крупнее, то вы продавите цену вниз и свозите мясо на стопы, выкупив по меньшей цене всё, что продали им ранее. А потом ещё дадите задание своему аналитическому отделу выпустить "информационный биллютень", чётко объясняющий почему всё так произошло, что "уровни не до конца сформировались и аллигатор ганна ещё не до конца сделал что-то там с задницей эллиота" (с) и уж в следующий-то раз всё будет по другому!
Если вы сочувствующая, то могу предложить ради интереса посмотреть вот например этот пост
no subject
Date: 2015-02-26 03:08 pm (UTC)бесконечностиисчерпания ресурсов. Скайнет на подходе, посоны =)no subject
Date: 2015-02-26 06:49 pm (UTC)Идея - да, есть такое. Кажется, так даже делают иногда и вполне успешно...
no subject
Date: 2015-02-26 08:00 pm (UTC)Ленты (чтобы они стали доступны, нужно залогиниться):
http://habrahabr.ru/feed/all/
http://geektimes.ru/all/
no subject
Date: 2015-02-27 08:39 am (UTC)Акка нет, слежу обычно через рсс-читалку, так шта, выходит, они таких как я оставили без ленты.