#ios

24 постов
пост №2077Продукты и дизайн

Apple признала серьезные проблемы с софтом. Анонсировали, что новая версия iOS и macOS посвящены исправлению ошибок и ускорению работы. Обещают, что программы начнут открываться на 30% быстрее даже на старых айфонах! Новый CPU scheduler и много других подкапотных улучшений. Может быть, даже поиск в настройках заработает!

Ну слава богу, а то я уже начал подозревать, что это я старею и схожу с ума, а всем остальным ОК.

У Apple уже есть опыт «релизов исправлений», macOS 10.6 Snow Leopard была «версией без единой новой фичи».

В этот раз они не смогли пойти на такой смелый шаг и впихнули новую ИИ-фичу: операционная система будет проактивно давать весь необходимый контекст о наших жизнях нейросети, встроенной в Сири. Честно говоря, все это нам уже обещали в Apple Intelligence год назад, но видимо в этот раз точно :)

Ах да, в Евросоюзе и в Китае вся эта история с нейросетями работать не будет. И жалобам на антимонопольное законодательство Евросоюза Apple посвятила целую отдельную страницу, а про ограничения в Китае написала буквально в самом конце лендинга, мелкой сноской. Потому что не нужно путать, это другое.

P. S. Ещё обещают доделать и дочинить родительский контроль на айфонах. Как родитель подростка: не верю, но все равно надеюсь!

пост №1748ИИ и машинное обучение

На этой неделе Apple провела конференцию для разработчиков, где анонсировала обновления своих операционных систем. Это была самая интересная презентация Apple за многие годы.

Многие потешаются над тем, что в новой версии iOS иконки можно будет поставить в любое место на рабочем столе, а ещё их можно покрасить в свой цвет — мол, «в Андроиде всю жизнь так».

На самом деле, все анонсы бьются на три категории:

1. 🛠️ Обновления и улучшения встроенных программ, «иконки» отсюда и они — далеко не самое интересное;

2. 🤪 Хайповый AI «для всех даром и пусть никто не уйдет обиженным»;

3. ✨ AI-магия.

🛠️ Из первой категории:

1. Возможность отправлять и получать смски и iMessage через спутники! Бесплатно! Прямо в лесу или в горах и посреди океана. 📡 Техническая возможность общения со спутником появилась в айфонах начиная с 14го, но раньше Apple использовал её только для связи со спасателями; теперь вот можно будет с семьей и друзьями переписываться.

2. Продвинутый калькулятор везде во всех текстовых полях. Можно прямо в сообщениях написать 273/3 EUR in TRY и он подскажет, что это 3 тысячи турецких лир. Это прямая калька с гениального приложения Soulver, и оно недавно вышло для айфонов — горячо рекомендую.

3. Десятки приятных мелочей — начиная с отслеживания сложности тренировки в «здоровье» и настроения в «дневнике» и заканчивая по полноценным приложением для хранения паролей!

🤪 Во вторых, Apple встроила большинство популярных AI-инструментов в айфоны и макбуки. Они будут работать быстро, даже без интернета и абсолютно бесплатно.

1. Автоматическое написание ответов на письма и сообщения.

2. Изменение тона текста — можно выделить любой написанный текст и «сделать поофициальнее» или «сократить».

3. Генерация картинок (и создание своих эмоджи) по тексту — буквально «сделай мне картинку собеседника, как будто он обнимается с крокодилом» и редактирование изображений — типа выделяешь людей на фотографии и одной кнопкой оставляешь только тех, кого хочешь.

Если вы продвинутый пользователь и следите за AI-сценой — то вас не удивишь, но обычные люди откроют для себя много нового. Ждем открыточек с красивыми котиками и цветами, сгенерированных искусственным интеллектом под чутким руководством бабушек! А ещё, теперь вместо душевных коротких строк мы получим тонны бездушного, грамматически выверенного текста. :(

✨ Ну и наконец, AI-магия.

Во первых, Apple обещает нормального ИИ-ассистента. Пример на презентации следующий: утром у тебя рабочая встреча, а вечером — выступление дочки. Коллега спрашивает в письме, можно ли подвинуть встречу на попозже. Ты спрашиваешь у Сири, успеешь ли к дочке на выступление. Сири находит сообщение, в котором дочка писала про выступление, определяет, сколько ехать до аудитории, отвечает утвердительно первому собеседнику и создает оба события в календаре. В общем, то, что нам обещают всякие Rabbit AI и Humane AI — то, что ни у кого до сих пор не получалось. Фильм «Она».

Во вторых, техническая реализация AI. Тут три аспекта:

1. До сих пор подавляющее большинство прикольных моделей работают на мощных серверах в дата-центрах. Apple утверждает, что они смогли ужать модели так, чтобы они помещались на айфоне, не сжирали батарейку и при этом имели приличное качество.

2. Вся информация в телефоне становится доступна моделям в виде контекста. Сообщения, письма, фотографии, контакты, история звонков, календарь. Всё это происходит локально на телефоне и не отправляется в облако.

3. В случае, если без мощной модели на сервере не обойтись — они отправляют запрос на свои собственные серверы, которые настроены так, чтобы не сохранять вообще ничего (ничего не хранишь — ничего не украдут). Они разработали специальную операционную систему для этих серверов, на основе модели безопасности iOS и опубликуют её образ для аудита независимыми исследователями. Ах да, перед отправкой данных в интернет, телефон криптографически проверяет систему на сервере.

В общем, я ожидал анонса «мы заменили Siri на ChatGPT, так что теперь она тупит поменьше», но Apple в очередной раз сумели удивить. Браво! (ChatGPT теперь на самом деле можно вызвать из сири напрямую, но не сказал бы, что это особая интеграция)

Бета-версия уже доступна для скачивания разработчикам. Я не рекомендую ставить её на основной телефон, лучше дождать более спелых бет. Основной релиз будет осенью. Очень ждем.

Два видео-первоисточника: Keynote и 5-минутная официальная выжимка Platforms State of the Union. Все анонсы, включая сессии для разработчиков (XCode кажется наступает на пятки IDEA) — как обычно на официальном сайте.

пост №1729Технологии и общество

Эпл подтвердил отключение PWA в Европе. Объясняет это заботой о безопасности пользователей, конечно же.

Дело в том, что среди прочего, Евросоюз потребовал разрешить сторонние браузерные движки на iOS. От этого Эпл отбрыкаться не сумел.

Дальше логика простая: гарантии безопасности своего движка Safari Apple контролирует, а что сделают разработчики сторонних движков (привет, Гугл) — непонятно и нужна новая архитектура безопасности в операционной системе. Но заниматься этим нет смысла, потому что PWA все равно не достаточно популярны.

Новость прикольна тем, сколько в ней уровней, прямо как в притче «повезло/не повезло»:

С одной стороны, я хочу пользоваться PWA — это единственная возможность запускать на айфоне программы, которые не санкционированы эплом явно (смотри кейс с санкциями).

С другой стороны, я не очень-то доверяю гуглу, ведь на самом деле, дай им волю и притащат мусорные уведомления и батарейка будет садиться быстрее (пусть не у меня, я знаю куда кликать, но у мамы-то уж точно, а я купил ей айфон именно потому, что его невозможно сломать).

В третьих, я очень не хочу, чтобы движок хрома стал единственным веб-движком (а это вполне может произойти — на сегодня из конкурентов остался только Сафари и именно за счет айфонов). Это даст слишком много власти над вебом в руки Гугла.

Дальше возникают мысли о природе конкуренции и капитализма и на этом, пожалуй, стоит остановится ;)

В практическом смысле, можно продолжать делать сайты-приложения под iOS, просто логин стоит сохранять через серверную куку, ну и полноценного офлайна, пушей и фулскрина не будет.

пост №1726Технологии и общество

Apple тестирует выключение PWA (веб-приложения) для европейских пользователей в новом обновлении iOS.

Что это значит?

Европейский парламент ведет с Apple давнюю войну за то, чтобы корпорация перестала использовать свою позицию производителя устройств при конкурентной борьбе со сторонними разработчиками приложений.

Помните, как Spotify и Fortnite пытались через суд отменить 30% побор со всех платежей внутри мобильных приложений? У них тогда ничего не вышло.

Последний ход Евросоюза — закон, который в числе прочего заставляет эпл добавить сторонние магазины приложений (кроме родного Apple Store) на iOS.

В ответ Apple представила новые условия для разработчиков, которые не нарушают букву закона, но совершено извращают его дух. И предложила создателям приложений самим выбрать, хотят они новые условия или старые.

Еще один способ обойти контроль Apple над за всеми аспектами мобильной разработки — так называемые progressive web apps (PWA). Это веб-сайты, которые благодаря возможностям современных браузеров могут работать оффлайн, получать уведомления и вообще, быть практически неотличимы от нативных приложений. Подобные приложения давно работают в Android, а недавно появились и в iOS.

Такие «приложения» эпл не контролирует.

В новом обновлении, Apple тестирует отключение большинства этих возможностей в iOS. Причем только для европейских пользователей.

Если обычно корпорация придумывает более или менее правдоподобные объяснения, что полный контроль платформы им нужен для защиты пользователей и обеспечения безопасности, то теперь уже кажется очевидно, что речь идет только о защите сверхдоходов самой богатой компании на планете.

Удивительным образом, эта борьба может повлиять и на российских пользователей. Из-за санкций, Apple удалила мобильные приложения многих банков из AppStore. Переход на разработку приложений PWA был отличной альтернативной. Тиньков, например, запустил полноценное PWA приложение. Теперь у пользователей с европейскими симками и оно перестанет работать (придется каждый раз вводить код из смс даже для того, чтобы проверит баланс). Что дальше?

Мы с Федей сейчас разрабатываем PWA-мобильное приложение для одного из клиентов в Европе, так что слежу за развитием этого сериала с повышенным вниманием :/

🇪🇺 + 🍎 = ☠️ & 🍿

P. S. Есть гипотеза, что это просто баг и до официального релиза всё починят. Удобный баг, посылает сигнал.

пост №1642ИИ и машинное обучение

Open AI опубликовала крупнейшую нейросеть распознавания речи, обученную на 680 тысячах часов аудио, назвали Whisper — шепот.

Сеть понимает множество языков кроме английского, включая русский.

Качество распознавания сравнимо с сервисами от Google, Amazon, Microsoft и Yandex. При этом сервисы распознавания речи от корпораций стоят по 2 доллара за минуту распознавания, а тут можно скачать и пользоваться этой штукой бесплатно и без подключения к интернету.

Открыта и бесплатна для скачивания не только конечная сеть, но и «развесовка», то есть модель можно тюнить и использовать как составную часть более сложных алгоритмов. Не открыты только 680 тысяч часов аудио, которые использовали для обучения модели.

Пара примеров есть на странице проекта; распознать любые файлы и даже свою речь с микрофона можно попробовать онлайн в неофициальном google colab блокноте (очень классный инструмент!).

Кстати, если у вас айфон — рекомендую обновить iOS и попробовать встроенное распознавание речи. Новая версия iOS внесла одно маленькое изменение — теперь редактирование текста клавиатурой не прерывает процесс распознавания. Можно набрать текст голосом, исправить ошибку пальцами и продолжить набор голосом. Я теперь пишу большинство сообщений на айфоне именно так — гораздо быстрее и легче, чем печатать пальцами.

Интересно, что мы как раз начинаем исследовательский проект для Чайки — встроим распознавание речи в медицинскую информационную систему, чтобы врачи могли заполнять карточки пациентов голосом и тратили на это меньше времени.

Будущее уже совсем близко.

пост №1609Разработка и инженерия

Открываешь специальную ссылку и всё, хакер полностью контролирует твой телефон или компьютер. Это не из дешевого фильма про шпионов, а перевод на человеческий язык описания обновления безопасности, которое только что выпустила Apple. Рекомендую всем обновить айфоны и макбуки.

Первая исправленная уязвимость позволяла создать веб-страницу, которая пробивает защиту веб-браузера, вторая ошибка давала обойти меры безопасности операционной системы.

Apple скромно замечает, что им сообщили, что хакеры использовали эти уязвимости в реальной жизни. Насколько эти уязвимости дешевые, могут ли их купить обычные люди, спецслужбы нашей родины? Не знаю. Рекомендую включить автообновление в настройках.

P.S. В андроиде такое тоже встречается.

пост №1465Интернет и платформы

Телеграм запустил функцию перевода — пункт меню появится, если зажать и держать палец на сообщении. Эта функция работает на разных телефонах по-разному и даже список доступных для перевода языков отличается в зависимости от модели.

В версии для айфонов, телеграм использует функционал операционной системы iOS 15, которая переводит тексты с помощью алгоритмов машинного обучения прямо на устройствах, без интернета, на 13 языках.

В андроиде аналогичного метода перевода нет. Есть очень крутой облачный сервис от Google, но он стоит 20$ за миллион символов. Перевод Войны и Мира (700 тысяч знаков) обойдется в 15$, на объемах телеграма разорится даже Дуров. Команда телеграма обманывает Google и пользуется их API бесплатно — это видно по исходному коду телеграма, которое доступно на гитхабе. Ох и любят ребята ходить по грани! Интересно, как гугл отреагирует.

пост №1362Продукты и дизайн

В интернете мало вещей, которые нельзя восстановить после утраты. Недавно я узнал об одной такой неочевидной вещи — привязке домена к бизнес-аккаунту в Фейсбуке.

Привязка домена важна, если вы хотите отслеживать конверсии на сайте при покупке рекламы в Фейсбуке, в свете последних изменений в iOS.

Мы рекламируем подписку на сноб в Фейсбуке и отслеживать реальные покупки на сайте важно для настройки эффективной рекламной кампании. Без привязки домена этого не сделать.

Стоит потерять доступ к тому бизнес-аккаунту, к которому привязан домен — и все, вы больше никогда не сможете его отвязать и перепривязать к другому аккаунту. Во всяком случае, я не смог. На форуме поддержки Фейсбука сотни вопросов, как это сделать, все с ответом «найдите владельца того аккаунта, к которому привязан домен и попросите его отвязать». А что делать, если я не могу его найти? Я писал в официальную поддержку фейсбука, писал даже представителю Фейсбука в России. Никто не может (или не хочет) помочь. Они не могут даже помочь определить, кто владеет тем аккаунтом, к которому привязан домен.

Возможно, если бы я написал знакомым программистам в Фейсбуке, то они бы мне помогли, но я опасался это делать, чтобы не потерять последнюю, пусть призрачную надежду.

В результате, мы выяснили, что владелец аккаунта всё это время был с нами (просто потерял его в списке), но нервов мы потрепали изрядно. Внимательно следите за привязкой домена в Фейсбуке и будьте здоровы.

пост №1208Технологии и общество

Правительства Саудовской Аравии и Объединенных Арабских Эмиратов покупали у израильской компании NSO сервис по взлому айфонов местных оппозиционных журналистов.

Для взлома использовались ошибки в iOS, которые позволяли взломать айфон, просто отправив номер телефона цели специальное сообщение iMessage, без каких-либо действий со стороны жертвы.

В ход шли зеродэи (zerodays), уязвимости нулевого дня, то есть уязвимости в iOS, о которых не было известно публично на момент атаки. Информация об одной такой ошибке стоит в районе миллиона долларов США.

После заражения, зараза умела слушать микрофон в фоновом режиме, делать снимки камерой, следить за всеми переговорами, в том числе в зашифрованных мессенджерах.

Я часто говорю своим клиентам, что если ваш айфон обновлен на последнюю версию iOS — опасаться особо нечего. На этом примере видно, от чего нужно защищаться, если вас заказали самые богатые люди на планете. Не уверен, что у российских спецслужб есть доступ к подобным технологиям, но всё-таки моя планка «так в жизни не бывает, это фантастика» сильно поднялась.

Интересны две вещи:

1) То, как обнаружили и расследовали этот взлом. Продвинутые версии вируса зачищали следы проникновения, так что большая часть расследования построена на анализе сетевых журналов, которые вел VPN сервер, через который сидели в интернете жертвы.

2) Турецкий аналог роскомнадзора заблокировал серверы распространения заразы довольно оперативно, то есть защитил всех пользователей своей страны от конкретно этой атаки. Туркомнадзору респект.

Оригинал расследования канадской командой CitizenLab читайте тут.

Ну и обновляйтесь на последнии версии iOS и Android — это сильно повышает стоимость успешной атаки.

пост №1111Продукты и дизайн

В телеграме для iOS можно автоматически промотать список чатов к непрочитанным чатам! Просто зажмите и держите нажатой иконку чатов в нижнем tab bar.

В iOS Safari есть куча таких скрытых функций: долгий тап на кнопку «вкладок» вызывает меню, где можно закрыть все вкладки разом, а долгий тап на «закладки» - предложение заложить эту вкладку или все открытые вкладки. Долгий тап на кнопку «+» открытия вкладки позволяет восстановить недавно закрытые вкладки.

Хорошо ли иметь скрытые интерфейсные решения или нет — тема бесконечного UX-холивара. Одно я знаю точно - текущее решение эпл записать все эти секретики в бесплатную электронную книгу в iBooks - стремное. Вот бы опцию «покажи мне секретики», которая бы включала «интерактивный туториал» по всем классным шорткатам. Мечты!