Своя колея

КДПВ (моя): Внутри крутейшего творения гениального Антонио Гауди, Собора Святого Семейства, Барселона, Испания.



Увы и ах, но с заморозкой своей вундервафли nntl я совершенно перестал читать и изучать новые веяния в Машинном Обучении. К счастью, время от времени твитырь приносит что-нить любопытное, и я не просто не могу не заглянуть внутрь. И вот сейчас принес вообще нечто особенное, чего я ранее вообще не встречал (возможно подход не нов, но см. дисклеймер выше).

А именно, трое сотрудников Гугла опубликовали препринт папира с неброским названием "Neural reparameterization improves structural optimization" [arxiv:1909.04240], что в вольном переводе может звучать как "Нейронная репараметризация улучшает оптимизацию структуры".

Шта?

далее на Хабре.

Некоторые причины для отказа в публикации статей, которые получали награждённые в этом году премией имени Алана Тьюринга Geoffrey Hinton, Yoshua Bengio и Yann LeCunn (все трое учёных, в принципе, и так уже давным давно заработали себе такие имена, что для них эта награда практически ничего не значит. Мой любимый Хинтон так и вовсе по рассказам периодически ворчит что-то вроде: "да уже достали с этими премиями, дали б лучше поработать спокойно")



(красным указаны названия конференций, места на которые нонче выкупаются за ~11 минут с момента начала продажи - так было с NIPS)

Отдельно доставляет последний пункт. В начале 20 века так говорили про физику. Ничего не меняется... Люди, в общем, тоже.

Оказывается, Джефф Хинтон (живая легенда современной Computer Science масштаба если не Эйнштейна в физике, то не меньше Фейнмана точно, о котором дорогая редакция этого бложека уже как-то писала) 3 месяца назад делал сессию AMA на Реддите. А такие Амы интересны тем, что там герой может отвечать не только на чисто рабочие вопросы, но и вообще на всё, что посчитает интересным ответить (Ask Me Anything). А это, учитывая персону отвечающиего, в ряде случаев может быть исключительно интересно и поучительно, ибо это первоклассные мозги.
К сожалению, на не относящиеся к работе вопросы мэтр отвечал очень не часто, но многое из того, что он всё же освещал мне показалось достойным внимания. Делюсь.

( Read more... )

Juergen Schmidhuber, один из зубров современной Computer Science и Искусственного Интеллекта, рассуждает на занятную тему о том, а что если весь наш (и ваш) мир является следствием работы компьютерной программы. По моему, весьма любопытно, хотя я из-за акцента Юргена не всё понял.



UPD: аннотированный транскрипт лекции http://www.kurzweilai.net/in-the-beginning-was-the-code

В догонку к прошлому посту вдруг подумалось, что прошлый пост на тему Artificial Intelligence я писал ровно год назад. Многовато... Но это кому-нибудь кроме меня интересно?

Про картинку во врезке справа: много лет назад я нашёл её где-то в сети. Увы, имени автора этого шедевра (по клику большая версия) у меня не сохранилось. А картинка-то не просто реальная, она для нас, жителей 1/7 части суши является в некоторой степени пророческой. Прямо сейчас она отражает положение вещей между нормальными странами и, например, тупым гордым государством Северная Корея. Учитывая нынешнее положение в нашей стране, дибилов с мозгами динозавров во власти (которых, кстати, мы сами так или иначе выбрали или позволили им "выбраться") и нарастающую скорость деградации образования и науки, через десяток-другой лет это и наша участь.

Пока весь нормальный мир развивается, у нас просто по прежнему воруют. Деньги из бюджета или чужие идеи разработки (идеи уже и своровать не могут, их же ещё суметь воплотить надо)...
В течение нескольких лет скорее всего будут сделаны очень крутые новые изобретения, которые продвинут цивилизованный мир далеко вперёд. Цивилизованный мир, но не нас... Нам даже "руки не подадут" и будут, увы, правы.
Короче, запомните эту картинку...


К чему это я всё... Да ни к чему. Щас же праздник типа? Ну вот и с праздничком.

Есть такой дядька Geoff Hinton, настоящий зубр и легенда Computer Science, изобретатель многих очень важных в машинном обучении концептов. Кроме прочего, в прошлом году он со своей командой с помощью Deep Learning Network с большим отрывом выиграл ILSVRC2012 (Large Scale Visual Recognition Challenge 2012) - очень крутой конкурс по созданию систем распознавания образов (это такие компьютерные программы, которые могут, например, посмотреть на картинку, и сказать, что на ней изображено). В следующем видео он презентует кое-какие аспекты этой работы и рассказывает о других успехах Deep Learning. В частности, рассказывает, как один из его студентов/коллег натренировал на данных Википедии большую рекуррентную нейросеть, которая по 10 входным символам текстовой последовательности предсказывает следующий символ (точнее, предсказывает распределение символов, а уже из этого распределения берётся символ. Это != самому вероятному символу). Соответственно, понятно, что в этом случае предсказанный символ можно снова подать на вход и получить 12 символ и т.д. и т.п. и так генерировать текст в соответствии с той моделью языка и семантики, которая выучила нейросеть.

Так вот, они там тоже любят поприкалываться (а Хинтон так вообще старый опытный тролль). Они подали на вход нейросети фразу "The meaning of life is" и вот, что из этого получилось (должно начаться с 52:38, это чуть раньше ответа для контекста. Торопыгам мотать на 54:08):


So, it's almost there!


Возможно, действительно сингулярность ближе, чем это принято думать. За последние несколько лет были созданы совершенно потрясающие алгоритмы...