ИИ и машинное обучение

Что общего между выращиванием марихуаны и лечением рака?

В новом эпизоде подкаста мы разбираемся, как IT используют в сельском хозяйстве. Овощи и фрукты выращивают по всему миру, но это производство до сих пор слабо автоматизировано и требует много ручного труда. Основательница стартапа Fermata Валерия Коган придумала, как контролировать растения в теплицах за счет машинного обучения. Мы поговорили с Лерой о том, как искусственный интеллект меняет выращивание овощей, почему с марихуаной легче работать, чем с помидорами, как собрать датасет больных растений и как Лера использует одну и ту же технологию в сельском хозяйстве и в онкологии.

Слушайте и подписывайтесь: Apple, Google, Castbox, Яндекс, Spotify, Overcast и веб-версия.

И задавайте пожалуйста вопросы для новогоднего эпизода! Присылайте их @zapuskzavtrabot.

NB. После прослушивания прошлого эпизода, основатель сервиса jitbit Саша Юмашев написал классный пост о том, что есть системы приема платежей, которые берут всего 5% комиссии и не требуют больших единовременных инвестиций. Рекомендую его канал.

Ещё одно применение искусственного интеллекта: https://pointerpointer.com

У меня на руках было 18 часов аудиозаписей, которые нужно было перевести в текст. Как расшифровать аудио в текст?

Можно заплатить профессионалам.

Можно самому всё слушать и печатать, это сложная и долгая работа.

Я решил скормить аудио дорожки машине и исправить трудные для алгоритма слова руками в специальном редакторе.

Для текстов на английском языке есть совершенно космический редактор — Descript. В нем редактируешь текст, а он при этом сам переставляет местами нужные куски аудио. Прорыв для редактуры подкастов, пока, к сожалению, для нас недоступный.

С поддержкой русского выбор немного сужается, но всё равно есть очень классные сервисы: HappyScribe, Trint, SimonSays, Sonix. Эти продукты отличаются моделью ценообразования и вниманием к деталям.

Эти сервисы не разрабывают алгоритмы распознавания речи. Я уверен, что они пользуются облачными API одного из крупных игроков — у гугла эта штука называется Google Cloud Speech-to-Text. Практические идентичные решения есть у Яндекса, Амазона и Microsoft.

По стоимости: расшифровка часа видеозвонка в гугле стоит 2.16$, у яндекса — 0.46$, а в Sonix — от 5 до 10$, остальные сервисы ещё дороже. Для сравнения, профессиональная расшифровка с русского — около 23$ за час.

Даже с крутым сервисом, работа заняла у меня больше 40 часов. Я сильно недооценил необходимый объем труда.

Tjournal показывают, что такое крутая нативная реклама. Обучили знаменитый алгоритм генерации текстов GPT-2 на комментариях своих площадок TJ, VC и DTF и теперь можно одной кнопкой попросить машину написать или даже дописать комментарий за тебя. Рекламодатель — скромно в последнем абзаце анонса и по ссылке на метку «нейротекст» у комментариев написанных роботом.

Главное — внимание к деталям. Они подсвечивают, какая именно часть комментария от нейросети и позволяют скрыть все комменты от роботов одной кнопкой. Респект!

За наводку спасибо Жирафу из нашего уютного чата.

Четверг!

Артём Кухаренко запрограммировал один из лучших алгоритмов распознавания лиц в мире и сделал сервис FindFace, который позволял найти любого человека во ВКонтакте. Сервис закрыли и теперь компания поставляет эту технологию государствам и бизнесу.

Ещё они умеют определять по видео эмоции.

В новом выпуске подкаста я расспрашиваю Артема, как работают системы распознавания лиц.

Apple, Google, Castbox, Spotify, Яндекс, Overcast, веб-версия.

На этом мы уходим с подкастом на небольшой перерыв, вернемся после новогодних каникул, со свежими силами и новыми героями. До встречи!

Крутой сериал про искусственный интеллект от ютуба. Ведущий — актер, игравший Тони Старка.

Сериал YouTube Originals. Подписчики YouTube Premium могут посмотреть все 8 эпизодов сразу и без рекламы, без подписки пока доступны только первые два эпизода и с кучей надоедливой рекламы. Отличная монетизация ютуба, респект гуглу.

Я купил подписку Youtube Premium пару месяцев назад, чтобы не видеть больше рекламу Wix с актрисой Софьей Резник, буквально взбесился на 100 просмотре, импульсивная покупка получилась. Неожиданно, подписка оказалась полезной. С Youtube Premium мобильное приложение ютуба умеет проигрывать аудио в фоне; многих мои любимых ютуберов можно слушать как подкасты.

А сериал классный - очень легкий, с кайфовым продакшеном и при этом объясняет сложные вещи простым языком. Примерно такое мы стараемся делать в подкасте ;)

Новый эпизод подкаста — про машинное обучение.

В гостях: Самер Фатайри — главный по ML в adjust.com, одной из главных компаний по атрибуции мобильного трафика и Петя Ромов, который в своем стартапе GOSU.ai помогает геймерам лучше играть в доту (не шутка).

Запись летняя, так что я очень много смеюсь в микрофон, зато гости классные, рассказывают интересные вещи и звукорежиссер в этот раз сделал крутую интерактивную врезку и ending.

Подписывайтесь в приложениях, там все выпуски выходят в четверг утром, как часы: Apple, Google, Castbox, Spotify, Яндекс.

Ссылки из подкаста (даже те, что не вошли в финальную версию):
- курс по машинному обучению для школьников, где анализируют ДОТУ!
- русское slack сообщество по машинному обучению open data science — лучшее в мире
- мощная школа анализа данных Яндекса, если хотите заняться ML всерьез
- у нашего партнера, онлайн-школы Яндекс.Практикум тоже есть курс по ML
- голуби учатся распознавать рак.

Джон Кармак объявил, что начал заниматься «настоящим искусственным интеллектом».

Это важно, потому что Кармак уже не раз своими руками творил будущее. В 90-е он сам запрограммировал культовые игры Commander Keen, Wolfenstein 3D, DOOM и Quake, создал жанр 3D-шутеров. Все ссылки в предыдущем предложении — на ютуб; посмотрите их — каждая игра была прорывом, который двигал вперед всю индустрию. Это инженер, который находит элегантные, применимые в жизни решения задачам, казавшимся нерешаемыми на практике. Ранний энтузиаст VR, последние 6 лет он работал техническим директором Oculus VR. Про VR — поверьте, через 10 лет мы вряд ли будем смотреть на плоские экраны, а лучше достаньте Oculus quest (400$) или Oculus Go (200$) и попробуйте сами.

☞ Кстати, Кармак сжег всё своё немаленькое состояние на развитие космических ракет, но в отличие от Маска ему не хватило денег (и надоело управлять людьми) и он пока поставил эту компанию на паузу.

Сегодня принято путать «машинное обучение» и искусственный интеллект. Сейчас мы тренируем компьютеры очень хорошо делать одну узкую вещь, например, играть в шахматы или предсказывать рак по рентгену. Этому можно «обучить», точнее натренировать голубей. «Настоящий искусственный интеллект» имеет с этим мало общего — он сможет отвечать на общие вопросы, «думать» как человек. Кармак подчеркивает, что его интересует второй вариант. Английский термин «artificial general intelligence», AGI.

Он пишет, что для начала «займется этим в стиле викторианского ученого-джентельмена, работая из дома и привлекая своего сына».

Судя по всему, дилеммы вроде «этично ли заставлять страдать искусственный интеллект и где проходит граница осознанности» скоро перестанут быть фантастикой и станут насущными вопросами. Будущее Азимова и «Черного зеркала» всё ближе 🚀

P.S. Если вы занимаетесь VR — напишите мне, пожалуйста. Ищу эксперта для проекта.

Синтез речи и мимики лица по тексту, машинный перевод, чемпионство в шахматах и го, идентификация рака по рентгену точнее чем у опытных врачей — объем применений методов машинного обучения может создать иллюзию, что машины становятся умнее. Это не так. Можно натренировать стаю голубей отличать рак по рентгену в 99% случаев. Они не становятся от этого умнее.

Животные догадываются до очень хитрых схем добычи еды. Обезьяны строят башни из коробок чтобы достать банан, вороны наполняют узкую банку с водой камнями, чтобы еда всплыла вместе с повышением уровня воды. Что уж говорить о детях, добирающихся до верхних полок шкафов за конфетами.

Машины пока так не умеют. Задача «добраться до еды в реальном мире» слишком общая. В шахматах и даже в старкрафте речь идет о герметичной системе с довольно четкими правилами. Число возможных ходов ограничено. Вспомните пару анекдотов о смекалке. Они смешны, потому что решения часто парадоксальны и хотя понятны после озвучивания, догадаться до них «поступательным развитием» невозможно.

Так вот, ученые организовали небольшой конкурс на лучший алгоритм для выживания в реальном мире. Видео-анонс классный.

Спасибо Самеру Фатайри за наводку.

Похвастаюсь: записали сегодня подкаст про машинное обучение с Петей Ромовым, техдиром gosu.ai (стартап, анализируют доту), и Самером Фатайри, главным по дата-сайнсу в adjust (крупная компания про mobile attribution).

Вот вам история, которую Петя вспомнил уже после записи, в кафе: в школе анализа данных Яндекса, у него был студент-физик, Стас, который круто решал учебные задачи, но когда его просили объяснить решение, он начинал рассказывать про физический матаппарата и физическую интуицию, из которой он черпал свои идеи. То есть задачу на определение нелегального поведения в соцсети он мог решить через прием, взятый из матаппарата анализа молекул газа, например. 🤯 Вот пример аналогичного разбора на ютубе (задача уже из «взрослого соревнования»).

В последствии, Станислав Семенов стал top-1 игроком на Kaggle — самой популярной соревновательной платформе для дата-сайнтистов (читай олимпийским чемпионом в машинном обучении). 💫