[RNN answer to] The meaning of life is...

Есть такой дядька Geoff Hinton, настоящий зубр и легенда Computer Science, изобретатель многих очень важных в машинном обучении концептов. Кроме прочего, в прошлом году он со своей командой с помощью Deep Learning Network с большим отрывом выиграл ILSVRC2012 (Large Scale Visual Recognition Challenge 2012) - очень крутой конкурс по созданию систем распознавания образов (это такие компьютерные программы, которые могут, например, посмотреть на картинку, и сказать, что на ней изображено). В следующем видео он презентует кое-какие аспекты этой работы и рассказывает о других успехах Deep Learning. В частности, рассказывает, как один из его студентов/коллег натренировал на данных Википедии большую рекуррентную нейросеть, которая по 10 входным символам текстовой последовательности предсказывает следующий символ (точнее, предсказывает распределение символов, а уже из этого распределения берётся символ. Это != самому вероятному символу). Соответственно, понятно, что в этом случае предсказанный символ можно снова подать на вход и получить 12 символ и т.д. и т.п. и так генерировать текст в соответствии с той моделью языка и семантики, которая выучила нейросеть.

Так вот, они там тоже любят поприкалываться (а Хинтон так вообще старый опытный тролль). Они подали на вход нейросети фразу "The meaning of life is" и вот, что из этого получилось (должно начаться с 52:38, это чуть раньше ответа для контекста. Торопыгам мотать на 54:08):

So, it's almost there!


Возможно, действительно сингулярность ближе, чем это принято думать. За последние несколько лет были созданы совершенно потрясающие алгоритмы...