В iPadOS 14 появилось распознавание рукописного ввода. Как это работает

Система распознавания рукописного ввода в Newton MessagePad в начале 90-х была гордостью и позором Apple Computer. Первые её версии вызывали смех и отбили охоту связываться с «персональными цифровыми ассистентами» у многих. Рукописный ввод вскоре починили, но это уже не было смешно, и об этом почти никто не узнал. 22 июня 2020 года, через 22 года после того, как проект Apple Newton был закрыт навсегда, он вернулся под другим именем. Теперь его зовут Scribble, то есть «мазня» или «каракули», это технология для iPadOS. Уже сейчас, в его раннем черновом варианте, Scribble подходит на роль полноценного способа ввода текста. С недоработками и оговорками – но это только первая бета-версия. У клавиатур с трекпадами и тач-интерфейсом в iPadOS вот-вот появится достойный конкурент.

Проект Apple Newton был ликвидирован Стивом Джобсом в 1998 году вместе с большим числом проектов, одновременно с сокращением почти половины сотрудников компании. Проект Apple Newton был закрыт вовсе не из-за бесперспективности и не из-за провально низких продаж. И не из-за того, что от Newton «смердело Джоном Скалли», как однажды выразился Стив Джобс. Компания была на грани банкротства, чтобы выжить ей пришлось избавляться даже от интересных и многообещающих направлений. А отношение Джобса к Newton не было однозначно отрицательным.

В благоприятной обстановке Newton можно было бы превратить в изделие массового поражения – это тоже его слова.

В наши дни обстановка благоприятна, с 1993 года, когда Apple объявила «персональный цифровой ассистент с рукописным вводом», возможности искусственного интеллекта выросли на порядок порядков. И в течение нескольких лет, в условиях строжайшей секретности, в Apple работали над его воскрешением в iPadOS.

Что такое Apple Scribble

Эта технология работает даже в программах, созданных до ее появления. Рукописный текст, даже введенный ужасным почерком, с первого момента распознается безошибочно. Apple Newton требовалось время, чтобы привыкнуть к индивидуальным особенностям хозяина – даже в поздних его инкарнациях. Но даже не это главное: поддержка Scribble встроена во все редактируемые элементы интерфейса, и даже не только в стандартные.

Поддержка Scribble, начиная с iPadOS 14, встроена в UITextInput, протокол, превращающий текстовые элементы в редактируемые.

Все такие элементы, даже от сторонних разработчиков, в iPadOS 14 начинают реагировать на прикосновение кончика электронного карандаша наиболее естетвенным образом. За исключением экранных элементов, созданных запредельно творческими личностями без применения UITextInput. Бета-версия от Apple работает лучше и естественнее чем технологии аналогичного назначения от её друго-врага с незапамятных времен, Microsoft.

Как работает распознавание текста в iPadOS 14

Scribble начинает работать сразу, с первого прикосновения карандаша к экрану внутри редактируемого элемента интерфейса. Элемент включается сам, для это не нужно ни активировать его, ни включать какой-нибудь хитрый режим. Это звучит пугающе – но на практике, как ни странно, эта его особенность работает именно так, как она должна.

Когда мы что-либо пишем (или рисуем) «физической» ручкой или карандашом, мы ничего и нигде не переключаем и не активируем. С тем лишь отличием, что стереть введенное с помощью Scribble намного проще. Это не единственные таланты Scribble. Превращение небрежно обозначенных геометрических фигур в аккуратные многоугольники – это фантастика. Есть у Scribble и недостатки, но их на удивление немного, и есть все основания надеяться, что к моменту официального выхода iPadOS 14 их исправят.

Apple, до сих пор с маниакальной трепетностью относившаяся к целостности своих интерфейсов, грубо нарушает свои собственные принципы. Очевидно, что клавиатуры с трекпадом и Scribble это настолько разные миры и направления развития, что более несовместимые друг с другом способы ввода текста невозможно даже представить. Но это только на первый взгляд. На самом деле, начиная с iPadOS 13.4, iPad – устройство, которое может быть использовано и почти как компьютер (настольный), и как планшет.

При подключенной к iPad клавиатуре с трекпадом, тач-интерфейс и Scribble доступны, и можно представить себе ситуации, в которых они могут быть полезны. Возможно, совместимость Scribble с клавиатурно-трекпадным режимом стоило бы искусственно ограничить. Пока в этом месте (как мне показалось) с этим не все хорошо. Это показалось не только мне, и в адрес Apple уже отправлено толковое развернутое описание выявленной проблемы.

Новый Apple Pencil

Я не знаю, когда это произойдет, но судя по стремительному росту числа патентов на тему Apple Pencil, этот момент уже близок. Пожалуй, стоит разобраться с самыми интересными из них поподробнее – как-нибудь в другой раз.

Но про одну сверхспособность Apple Pencil будущего (надеюсь, ближайшего) промолчать просто нет сил. Представьте себе ситуацию: в окружающем вас и ваш iPad «материальном мире» находится объект, цвет которого вы хотели бы скопировать в нематериальный мир внутри iPad. Новый яблочный стилус когда-нибудь, научится копировать цвет реальных предметов простым касанием.

Патентную заявку Apple, в которой описываются физические и конструктивные принципы такого действия, на прошлой неделе опубликовало американское управление по патентам и товарным знакам. Заявка была подана в начале 2019 года.