Будущее уже здесь: конференция AI Ukraine 2014

В субботу в Харькове прошла конференция AI Ukraine 2014. Мне посчастливилось быть в числе её участников. Мероприятие в каком-то смысле осуществило своего рода «сдвиг в сознании», хотя изначально не ожидал от него чего-то особенного. Но обо всём по порядку.

На конференцию я попал по приглашению компании, в которой работаю. Заявленное общее направление докладов – практическое применение искусственного интеллекта и обработка данных. То есть предполагалось, что это не будет техническая конференция в чистом виде – доклады вполне смогли понять «простые смертные». По крайней мере среди тех выступающих, которых я успел послушать, не было ни одного, кто говорил бы на совсем непонятные темы, доступные лишь узкому кругу избранных.

Сразу скажу, что все доклады прослушать не удалось, поскольку конференция шла с уже ставшим традиционным делением на потоки: в соответствии с программкой в трёх залах, выделенных под мероприятие, шло одновременно по три доклада. Возможно, что какой-то особенной логики в делении выступлений по потокам и не было, но лично мне показалось, что на одном из них речь шла больше о каких-то вещах для общего развития с минимумом конкретики, а два других потока были ближе к жизни: там уже больше освещались практические вопросы. Как раз в основном на «практических» потоках я и крутился основную часть времени, а на «теоретический поток» я попал только один раз.

Конференцию посетило более 300 человек. Причём к удивлению организаторов около 200 человек присоединились буквально за несколько дней до дня мероприятия. В целом уровень организации конференции оказался достаточно высоким. Модерация выступлений проводилась адекватно: выступающих всегда вовремя останавливали, напоминая об отведённом на выступление времени и предоставляя возможность всем желающим задать максимальное количество вопросов. Ну и по бытовым вопросам – кофе-брейкам, обеду – никаких вопросов. Участников конференции в достаточном количестве завалили всевозможными бутербродиками, печенюшками, пироженками, кофе-чаем. Всем всего хватило. 🙂 Это смешно звучит, но зачастую на подобных, часто недешёвых, мероприятиях с питанием бывают проблемы.

Пройдёмся же по самому вкусному – увиденному, услышанному и прочувствованному на докладах. Помним, что это в сущности 1/3 от всего, что происходило на конференции. А, может быть, и того меньше получится – ведь хорошо рассказать можно только о том, что действительно впечатлило. 🙂

Открывал программу конференции для меня доклад Александра Панченко (старший исследователь в Digital Society Laboratory, г. Москва) на тему анализа текстов в социальных сетях Facebook и ВКонтакте. На социальные сети можно смотреть под двумя принципиально разными углами: с точки зрения пользователя и с точки зрения исследователя (он же может быть интернет-маркетологом, социологом и ещё много кем). И если пользовательский взгляд нам всем понятен (чего мы не видели в том VK и Facebook?), то ознакомиться с другим взглядом лично мне было интересно. Тем более что отчасти я уже и так смотрю на соцсети несколько шире, чем большинство пользователей: являюсь модератором нескольких групп в VK и Facebook + мой блог прикручен к ним же возможностью лайков и комментариев к статьям прямо на сайте и прочими менее заметными фишками.

Александр Панченко отметил, что социальные сети можно рассматривать под тремя основными разрезами. Во-первых, важно исследовать профили пользователей с зашитыми в них многочисленными атрибутами, относящимся к разным типам данных (имя, фамилия, интересы – простой текст; возраст, количество друзей, подписчиков, групп, пабликов – числовые данные и т.д.). Во-вторых, внутренняя организация социальной сети предполагает наличие обширных связей пользователей друг с другом как напрямую («друзья»), так и путём их объединения в сообщества по интересам. Такие связи удобно исследовать с помощью построения различных наглядных сетей и теории графов. В-третьих, социальные сети характеризуются наличием огромного количества контента, чаще всего копируемого у других и только изредка генерируемого самостоятельно. Сюда относятся любые текстовые сообщения, фотографии, видео, музыка, ссылки на сторонние ресурсы.

Как видим, объём данных для обработки очень большой, поэтому перед непосредственно анализом информации нужно хорошо продумать цели такого анализа. Подобная подготовка позволит сэкономить значительное время, собирая только необходимые данные. В качестве примера докладчик привёл объём тестовой выборки, которую он использовал для анализа. Она достигала десятков терабайт! И это при том, что, разумеется, загружалось в эту базу далеко не всё содержимое VK и Facebook. Знание особенностей API (Application Programming Interface) каждой соцсети позволит понять, до какой степени возможно автоматизировать сбор информации.

Что касается методов сбора данных, они делятся на сбор очевидных вещей (например, сбор имён и фамилий пользователей, контактных данных, имеющихся в открытом доступе так и на логику определения скрытых параметров. Простой пример: представим себе, что человек не указал в профиле дату рождения. Каким образом мы всё же можем определить возраст? Сразу напрашивается самый простой косвенный метод: проверить, указал ли человек у себя в профиле сведения о годах окончания школы и / или вуза. Зная типичный возраст этих жизненных событий, мы с точностью +– 1 год легко определим возраст. Если же этой информации нет, выход всё равно можно найти – просто потребуется больше времени на исследование + точность может быть несколько ниже. Далее можно анализировать перечень друзей пользователя (как правило, человек общается с людьми примерно своего возраста), список его сообществ (для многих групп в соцсетях можно легко определить её целевую аудиторию и возраст).

Не менее интересной является задача определения родного языка пользователя. На первый взгляд, всё просто и понятно, но при более глубоком анализе возникают вопросы. Кажется, что тот же русский язык легко определить. Но не забываем, что кириллица помимо русского языка используется в украинском, белорусском, болгарском и других языках. В этой ситуации на помощь исследователю приходит лингвистика, которая чётко знает, какие букво- и словоформы однозначно характеризуют язык.

Также любопытным является так называемый матчинг пользователей в разных соцсетях, под которым подразумевается определение личности реального человека и его однозначная привязка к профилям в разных соцсетях. Опять-таки, самый очевидный метод – банально взять человека в одной соцсети и найти человека с таким же именем в других. Такой метод хорош для таких людей, как я – с достаточно редко повторяющимися именем и фамилией. А вот что делать с армией Маш Ивановых? 🙂 Снова начинаем копать глубже и начинаем сравнивать остальные признаки. Во-первых, это данные в профиле пользователя. Во-вторых, сравнение списка друзей в разных соцсетях – это даёт возможность практически гарантированно сопоставить профили одного и того же человека в разных сетях.

В завершение доклада Александр поделился интересным наблюдением о соотношении ценности лайка и комментария в соцсети. Он оценил соотношение ценности этих действий как 1:18 – разумеется, в пользу комментария. Определил он это очень просто: люди в среднем в 18 раз чаще лайкают, чем комментируют. Таким образом каждый из Вас сможет определить персональные рейтинги «отданного блага» и «полученного признания» за произвольный период и по отношению к любому человеку или группе людей :).

Последовавший вторым доклад Дмитрия Кана (SemanticAnalyzer Group) и Леонида Литвиненко (YouScan) стал по сути продолжением темы, заданной предыдущим докладчиком. Речь шла о методах определения тональности высказываний на сайтах вообще и в социальных сетях в частности. Докладчики в своём выступлении очертили круг основных принципов, руководствуясь которыми, можно достичь этой цели:

• Определение тональности высказывания по заранее определённым так называемым чисто позитивным («красивый», «добрый», «нравится», «восторг») и чисто негативным словам («не люблю», «мерзость», «надоело», «уродливый»). Первоначальный набор таких слов задаётся лингвистами «вручную», а затем на помощь приходит поиск синонимов в поисковых сетях, позволяющий значительно расширить базовый словарь.
• Учитывание фактора инвертирования полярности высказывания. Речь идёт о приставках в словах типа «не», «без» и союзах «а», «но», «хотя», «зато».
• Понимание того, что одна и та же фраза может быть одновременно и позитивной и негативной в зависимости от объекта высказывания («Мне понравился новый iPhone, а вот Samsung я не люблю»).
• При определении объекта тональности высказывания нужно учитывать фактор замены существительных на местоимения. Другими словами, при появлении местоимения, нужно смотреть на предыдущие предложения, чтобы понять, о ком или о чём идёт речь. Пример: «А сейчас речь пойдёт об этой книге (нейтральное высказывание). Она мне показалась жутко скучной (отрицательное отношение)».
• При составлении словаря позитивных и негативных слов учитываем современные тенденции в замене обычных слов на сленговые. Мы все знаем, о чём речь. 🙂 Это слова типа «ваще», «инет», «пичалька».

Третьим по счёту в моей персональной программе шло выступление на английском языке от Kristofer Rolf Deinoff (Itera Consulting) под названием «Internet of Machine Learning». Здесь я, пожалуй, впервые в жизни, вживую услышал скучное выступление на иностранном языке. До этого мне как-то больше везло на собеседников-иностранцев. Идея выступления Кристофера была отличной: показать Machine Learning на живом примере, для реальной задачи и с реальной программой, решающей эту задачу. К сожалению, реализация идеи захромала: текст подавался монотонно, было сложно понять структуру выступления. Неудачной оказалась идея показывать слушателям код программы, пытаясь что-то бессвязно объяснять, попутно при этом иногда путаясь в своём собственном коде. Привело это к тому, что некоторые слушатели начали заниматься любимым занятием – развесело троллить докладчика каверзными вопросами (надо же как-то оживлять атмосферу?).

Оказавшийся неудачным выбор потока скрасил обед, который начался сразу после доклада. Ну а после него началась вторая часть конференции, которая мне показалось гораздо более интересной, чем первая.

Послеобеденную часть открывал Данила Дорофеев (Samsung), который представил слушателям инновационные методы определения пульса человека. Пройдясь по традиционным методикам (прощупывание, электрокардиограмма, часы с определителем частоты сердцебиения, акселерометр в телефоне), он осветил новые техники этой типичной операции. Все они основаны на микроскопических внешних изменениях тела человека при пульсировании крови. Во-первых, это могут быть малозаметные изменения цвета кожи при прохождении крови через них. Это позволяет определить пульс человека, просто поднеся палец к камере смартфона с включенным смартфоном. Что интересно, я как раз накануне конференции скачал и опробовал приложение, позволяющее так мерять пульс. Проверено на себе, работает правильно.

Докладчик же продемонстрировал прямо во время выступления другой метод, основанный на том же принципе. Суть его заключается в том, что вместо поднесения пальца к камере можно просто посадить человека перед веб-камерой и по микроизменениям цвета лица определить пульс. Этот способ не лишён недостатков. Чтобы программа сработала правильно, человеку придётся около 10 секунд сидеть неподвижно – не каждый захотеть тратить даже такое время на определение пульса. Кроме того, необходимо достаточно высокое качество самой веб-камеры и хорошее освещение. Данила продемонстрировал метод на себе – таки да, работает. В ходе дальнейшего обсуждения выяснили, что метод универсален в смысле применения его для разных рас людей: афроамериканцу тоже можно так померять пульс – кожа ведь у таких людей тоже меняет цвет при пульсации крови, просто пигментирована иначе, чем у других. А вот для девушек с нанесённым макияжем метод не подойдёт: за нанесённой косметикой не будет видно изменений цвета лица. Вот такая пичалька. 🙂

Эстафету Данилы подхватил Дмитрий Сподарец (RootUA Media), который рассказал участникам конференции о возможностях новой платформы FlyElephant для агрегации и проведения высокопроизводительных вычислений.

Основная идея сервиса заключается в том, чтобы дать возможность пользователям отдавать на аутсорс ресурсоёмкие задачи агрегации и анализа очень больших объёмов данных. Это может быть востребовано в случаях, когда заказчик уже не располагает достаточным объёмом ресурсов для обработки собственной базы данных с приемлемой скоростью. В этой ситуации он обращается в FlyElephant, которая неким удобным образом загружает данные клиента к себе на сервер или же работает с ними напрямую через облачный сервис хранения данных (например, Amazon Cloud), обрабатывает их по определённому пользователем сценарию, после чего результат отдаётся обратно клиенту.

Сценарий обработки данных может быть задан любым удобным способом: начиная от текстового описания того, что надо сделать с данными и заканчивая написанным клиентом кодом на одном из популярных языков программирования. Конечный результат может быть представлен или в виде нового набора данных на основе предоставленной сырой информации, или в виде наглядных графиков, формируемых при помощи библиотеки d3.js.

В ходе доклада была запланирована живая демонстрация, которую докладчик отменил в пользу рекламы мероприятий для стартаперов и айтишников, которые организовывает его компания. Сказал, что демо не получилось по техническим причинам. Но мы-то понимаем, что дело не в этом. 🙂 Лишний раз попиариться – святое дело.

После получасового кофе-брейка последовало два доклада, которые лично мне показались лучшими за день. Первый доклад на тему «Сенсор для выявления огневых точек для украинской армии» представил Николай Павлов (Biomech). Как Вы понимаете, тема злободневная. Николай поведал свою историю о том, как он пришёл к необходимости реализации такого волонтёрского проекта. После того, как началась война на Донбассе и нескольких товарищей Николая призвали в армию и Национальную гвардию, он решил тоже каким-то образом помочь армии. Остановился на том, в чём разбирается лучше всего – на технологиях. Так и возникла разработать и внедрить в жизнь прибор для выявления огневых точек противника. Докладчик детально проиллюстрировал идею и принцип работы будущего сенсора, который основывается на работе нескольких микрофонов и разнице во времени прихода звука на каждый из микрофонов. В теории звучит просто, но на практике Николай столкнулся с массой трудностей, среди которых одной из главных стало подавление шума от ударной волны при постобработке аудиозаписи.

После многоразового тестирования прибора на полигоне в Чугуева, записи 3,8 Гб аудиозаписей выстрелов таки удалось сформировать концепцию сенсора, который, что немаловажно, должен стоить сравнительно недорого: была поставлена цель ограничит стоимость тысячей долларов.

Что интересно, на протяжении выступления Николай Павлов несколько раз задавал вопросы в зал в стиле «И как думаете, как решить вот эту проблему и как дальше построить алгоритм?». И каждый раз в зале находились люди, которые правильно уловили суть идеи и давали правильные подсказки.

Ну а после окончания выступления докладчика буквально завалили вопросами и советами по улучшению системы неравнодушные слушатели. Увиденно и услышанное во время доклада несомненно радует: видно, что люди искренне хотят поспособствовать скорейшему разрешению конфликта. В общем, наши люди меня в очередной раз удивили в хорошем смысле вопроса. Сколько таких положительных открытий было за последний год – я уже не знаю, со счёта сбился. Всё-таки глубоко убеждён с такими людьми всё у нас будет хорошо – так или иначе, но всё точно образуется.

Как-будто в продолжение предыдущего доклада и в развитие мысли о «всё будет хорошо» прошёл доклад декана факультета компьютерной инженерии ХНУРЭ Владимира Хаханова на тему «Киберфизическая система «Облачное управление транспортом». Да, безусловно, в докладе речь шла о новой системе управления транспортом. Но в целом Владимир дал гораздо более широкий взгляд на наше с Вами будущее, которое не ограничивается новой киберфизической системой. Он по сути повторил то, с чем я уже неоднократно сталкивался за минувший год – о грядущем глобальном изменении организации общества в целом на Земле. Речь идёт прежде всего о дальнейшем развитии, заключающемся в очистке от различного мусора, – как физического, так и ментального – и дальнейшем активном переходе на различные формы самоорганизации общества.

Владимир Хаханов на примере реорганизации управления транспортной системы наглядно продемонстрировал, как это будет происходить. Современные технологии уже дошли до состояния, позволяющего человечеству избавиться от многих ставших архаичными вещей. В случае с транспортом это прежде всего стоящие на улице привычные светофоры и дорожные знаки.

Повсеместный доступ к Интернету, возможность точного позиционирования автомобиля в пространстве, уже действующие прототипы автомобилей Google без водителя позволяют отказаться от указанных выше рудиментов. Зачем на улице ставить дорогой в производстве, установке и эксплуатации светофор, если его функции совершенно спокойно можно перенести в облако, к которому будет подключён автомобиль? Зачем нужны дорожные знаки, если человек может получать по Интернету в реальном времени значительно больший объём важной информации (те же знаки в электронном виде, предупреждения о пробках, проблемах на дороге, оптимальном маршруте, электронная карта города и многое другое)? Зачем нужен такой архаизм как номерной знак на автомобиле, если на автомобиль достаточно нанести RFID-метку (по аналогичной технологии в Харькове работают бесконтактные карты в метро), которая будет его однозначно идентифицировать и позволит в случае каких-то нарушений мгновенно вносить их в единую базу данных? Дальше – больше. Зачем вообще нужен человек-водитель, если все автомобили можно очень точно позиционировать в пространстве, объединить их в единую сеть, дать возможность взаимодействовать друг с другом и автоматически направлять их без нарушения правил дорожного движения из точки А в точку Б? Всё это позволит значительно улучшить ситуацию с безопасностью на дорогах.

Как я уже писал выше, докладчик смотрит на эту ситуацию очень широко. Если продолжать начатый ранее логический ряд, то зачем нам вообще дорожно-патрульная служба и вся сопутствующая ей бюрократия? Количество людей в этой системе можно практически обнулить за счёт автоматизации их работы и перевода её в облако. Если автомобили ездят без участия водителя, то о каком нарушении правил вообще может идти речь, правда? Дальнейшее совершенствование такой облачной системы произойдёт, как только системы типа GPS научатся позиционировать объекты в трёхмерном пространстве, таким образом оцифровав всё доступное нам пространство земли, воды и воздуха. Это позволит, например, отказаться от услуг пилотов самолётов, диспетчеров, сопутствующих профессий и сопутствующей инфраструктуры – принцип точно такой же, как и в случае с наземными транспортными средствами.

Если дальше углубляться, то такой перевод в облако бюрократических процессов приведёт в конце концов к отказу от бюрократического аппарата как такового. А это в свою очередь позволит забыть о той же коррупции как о страшном сне, к огромной экономии времени и денежных средств. Подобная автоматизация также будет способствовать более справедливому перераспределению благ в обществе. Чем больше и качественнее человек вложился в развитие общества, тем больший доход он получает. На практике такой подход будет включать в себя выработку определённого набора метрик успешности труда и творчества каждого отдельно взятого человека в коллективе, в соответствии с которым каждый будет получать справедливый заработок. Доход этот опять-таки может объективно рассчитываться через облако, что разгрузит людей на руководящих должностях, а то и позволит от них вовсе избавиться.

Все эти мысли тесно перекликаются с неоднократно мною прочувствованным явлениями, который как раз говорят о том, что мы на пороге значительных положительных перемен в нашей жизни. Начавшийся во время Майдана кризис позволил многим из нас переосмыслить себя в этом мире. Отсюда и чудеса самоорганизации и взаимопомощи во время зимних протестов в Киеве, и беспрецедентный уровень организации волонтёрского движения, и появление многих новых интересных проектов именно сейчас, когда, казалось бы, мы все должны предвещать грядущее смутное время. А на самом деле смута не приходит. Да, сложности есть. Но многие подсознательно понимают, что это временно. И не ноют. И просто работают над собой, помогают себе и тому парню. Просто полноценно живут – несмотря ни на что. И верят, что обязательно будут жить так, как сами того захотят, а не так, как им кто-то навяжут. И жить они будут непременно лучше, чем ранее.

Наблюдаемые перемены в нашей жизни всё больше укрепляют уверенность в том, что вскоре наша жизнь изменится кардинальным образом. Мы избавимся от физического и ментального мусора, заполонившего наши жизни. Очевидно, тот же Алексей Арестович прав, когда утверждает, что структура общества изменится на постбюрократическую, сетевую. Жизнь будет строиться на основе принципов самоорганизации, а само общество поделится на полностью автономные группы по 10-15 человек. Если задуматься, то этому по большому счёту мешает только отсутствие некоего универсального источника энергии – основной причины зависимости людей от государства. А как мы все знаем, буквально на прошлой неделе в США объявили о том, что в ближайшее время ожидается появление нового мощного источника энергии на основе термоядерного синтеза. Это приведёт к кардинальным изменениям в устройстве мира, в котором энергия на основе углеводородов начнёт уходить на второй план.

Разумеется, все эти будущие перемены порождают и значительные риски: начиная от сопротивления производителей указанных выше светофоров, милиционеров и чиновников, рискующих потерять всё, и заканчивая блокированием прогресса государствами, которые являются крупными поставщиками традиционных энергоносителей.

Но в конечном счёте новая жизнь всё равно победит. Подобные кардинальные перемены были уже не раз, и история говорит, что после 31 декабря можно только временно застрять в 32 декабря, но в конечном счёте всё равно наступит 1 января и Новый год.