arech: (Default)

Я всё жду, когда уже оно научится разворачиваться и лупить обидчика с ноги)

Но шутки шутками, а вот система управления такой штуковиной должна быть просто потрясающей. Двигается во многих аспектах уже как живое, очень естественно. Безумно интересно было бы узнать, как оно там изнутри устроено. Вангую, что там чуть менее чем всё работает на алгоритмах машинного обучения. Иначе, по моему, подобных результатов не добиться.
arech: (Default)
Есть такой дядька Geoff Hinton, настоящий зубр и легенда Computer Science, изобретатель многих очень важных в машинном обучении концептов. Кроме прочего, в прошлом году он со своей командой с помощью Deep Learning Network с большим отрывом выиграл ILSVRC2012 (Large Scale Visual Recognition Challenge 2012) - очень крутой конкурс по созданию систем распознавания образов (это такие компьютерные программы, которые могут, например, посмотреть на картинку, и сказать, что на ней изображено). В следующем видео он презентует кое-какие аспекты этой работы и рассказывает о других успехах Deep Learning. В частности, рассказывает, как один из его студентов/коллег натренировал на данных Википедии большую рекуррентную нейросеть, которая по 10 входным символам текстовой последовательности предсказывает следующий символ (точнее, предсказывает распределение символов, а уже из этого распределения берётся символ. Это != самому вероятному символу). Соответственно, понятно, что в этом случае предсказанный символ можно снова подать на вход и получить 12 символ и т.д. и т.п. и так генерировать текст в соответствии с той моделью языка и семантики, которая выучила нейросеть.

Так вот, они там тоже любят поприкалываться (а Хинтон так вообще старый опытный тролль). Они подали на вход нейросети фразу "The meaning of life is" и вот, что из этого получилось (должно начаться с 52:38, это чуть раньше ответа для контекста. Торопыгам мотать на 54:08):


So, it's almost there!


Возможно, действительно сингулярность ближе, чем это принято думать. За последние несколько лет были созданы совершенно потрясающие алгоритмы...
arech: (Default)
Довольно случайно наткнулся на ютубе на курс по Машинному Обучению, который читал Nando de Freitas в Университете Британской Колумбии (Канада) весной этого года. Посмотрел пока лекцию по Нейросетям и очень впечатлился. Материал изложен хорошо и понятно, причём с довольно неожиданной стороны: для вывода некоторых свойств MLP и его стоимостной функции используются методы теории вероятностей. Это, например, сразу объяснило, почему для выполнения многоклассовой классификации для MLP нужно использовать по одному нейрону для каждого класса, а не пытаться запихнуть всё в один нейрон (потому что каждый нейрон моделирует распределение вероятностей над входными данными и если в один нейрон запихивать несколько классов, распределение получится мультимодальным, а один нейрон нормально моделирует лишь унимодальное распределение). Короче, понял кое-что новое, чего "Профессор Нг нам не объяснял" :) Кстати, уровень изложения, стройность и логичность вполне соответствуют уровню Andrew Ng, что необычайно здорово и круто.
Думаю, что и другие лекции Nando de Freitas не хуже, поэтому если кому интересно - http://www.youtube.com/playlist?list=PLE6Wd9FR--EdyJ5lbFl8UuGjecvVw66F6&feature=c4-feed-u

Profile

arech: (Default)
arech

September 2017

S M T W T F S
      12
3456789
1011121314 1516
17181920212223
24252627282930

Syndicate

RSS Atom

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 25th, 2017 04:51 pm
Powered by Dreamwidth Studios