Create MLフレームワークを使ったダイナミックなiOS Appの構築

Create MLフレームワークを使ったダイナミックなiOS Appの構築

Create MLフレームワークを使って、Core MLモデルを完全にデバイス上でトレーニングすることで、データのプライバシーを守りながら、適応性の高いカスタマイズされたAppエクスペリエンスを実現する方法を紹介します。スタイル変換や画像識別といった画像ベースのタスク、カスタム音声識別などのオーディオタスク、またはテキスト識別、表形式データの識別、および表形式データの回帰分析などのタスクといった、オンザフライ方式で作成できるモデルタイプについて確認します。また、Appをよりパーソナルでダイナミックなものにするため、これらのモデルから提供される多数の可能性を紹介します。参考として、WWDC21の「Create MLによる手のポーズや動きの識別」と「SoundAnalysisのビルトイン音声識別」をご確認ください。

リソース
- Create ML
- - HDビデオ
  - SDビデオ
関連ビデオ

WWDC22
- Create ML Componentsについて学ぶ
- Create MLの最新情報
WWDC20
- Swiftを使用したCreate MLでのトレーニング管理
ダウンロード

♪ (Create MLフレームワークを使ったダイナミックなiOS Appの構築) こんにちはタオです今日は同僚のJackと一緒に Create ML フレームワークを使ったダイナミックな iOS Appの構築についてお話しします動的Appとはどういうことかというと特定の要素についてユーザーがカスタマイズできる柔軟さを備えた Appということです動的Appはまたユーザーの多様なニーズに一番合うようにコンテンツを仕立てますこうした応用力を備えた App内機能はユーザーによりインテリジェントで彼らにぴったり合うパーソナライズされた体験をもたらしますこうした体験は単純な経験則や事前定義されたルールによって提供が可能ですしかしこうしたアプローチが Appユーザー全員のベストな経験とならないことも多々ありますなぜなら彼らの背景や好みは変動するからです一方で機械学習のテクニックを使うことでユーザーデータから直接学習するモデルを作ることが可能ですこれは一般化の柔軟性がより高くまた発見的・事前定義ルールより多くのユーザーにマッチしやすいですではこうした体験の提供にはどんなツールを使うのでしょうか？ Macに搭載されている Create ML Appですトレーニングデータを選択してトレーニングボタンを押すだけでモデルを簡単に作れます豊富なテンプレートセットであらゆる種類のモデルタイプに対応しています Create MLフレームワークの上に構築されており機械学習モデルのトレーニングを高速で行えます Create ML フレームワークは、もともと macOS Mojaveで導入されたもので、モデルをSwiftコードで macOSアプリ内からトレーニングできるようになっています。今年 iOS 15 や iPadOS 15 にも導入しますこれがデバイス上で使えると斬新で動的なあらゆることが Appで行えるようになりますつまりデバイス上でモデルを作成するプログラム用APIに Appから直接アクセスできるのですユーザーから学習しユーザーに適応する能力が Appにもたらされます最後にこれが一番大事ですがユーザーデータがデバイスから出ていく事がありません従ってユーザープライバシーは守られますでは掘り下げていきます Create MLでは様々なタスクが利用可能です macOSで使えるのはこれですが iOSでも多くのタスクが利用可能です中でも人気があるのは画像や音声そしてテキストの分類ですです最近では画風変換が追加されハンドポーズやハンドアクションの分類も今年新機能として加わりましたこうしたツールからは多くの面白いアイデアやユースケースが生まれますいくつか例を紹介します画像分類を使うと Appが子供のお気に入りのぬいぐるみの外見を学習してその画像をもっと探せるようにして彼らの冒険ストーリーを一緒に作ることができますテキスト分類はユーザーが書いたばかりのメモを過去の行動から学習したタグやフォルダの予測によりすばやく整理できるようにします今年追加されたハンドアクション分類ではカスタム定義のハンドアクションを認識して、視覚効果をトリガーできます iOSのCreate MLでは様々な素敵なことができますが分かりやすいように実例で説明します一見Photo Booth風の Appですがもっと動的にカスタムの画像フィルターを作成できます例を見てみましょうこれは私のiPadですがトップには私がCreate MLの Style Transferタスクを使ってトレーニングした既存のフィルター一覧が出ていますそれぞれフィルター作成に使われた特定のスタイルの画像が表示されています一番下にはこれらフィルターをかける画像を撮影するか選択するかが示唆されていますここで写真を撮ります
セルフィーを撮って
フィルターをかけてみましょうまずは最初にある波の画像をクリックします私の顔や髪が水滴で表現されかなり前に行ったマイアミ休暇を思い出します鳥の絵だとどうでしょうか？とてもカラフルになりましたね 3番目の砕いた氷のような絵だとどうなるでしょうか？クールで冷たい感じですねこれらはとても楽しいですがどこか物足りないように思えます自分で選んだ任意の画像からフィルターを作れたらどうでしょうか？とても楽しいアプリになりそうですねやってみましょう
ここに私の娘が 3歳の時に描いた絵がありますこのテクスチャと色をとても気に入っています娘の芸術スタイルでフィルターを作ったらどんな自撮りになるでしょうかこの「 Filter」ボタンをクリックしてカメラを選択し写真を撮ります
“Use Photo” これでフィルターができましたここでトレーニングしているのはカスタムの画風変換モデルですその仕組みを説明しましょうまず1つの画風の画像を選択します私は娘の絵を画風に使いました次にコンテンツ画像をいくつか用意してスタイルをどう適用するかモデルに学習させます画像のオリジナルコンテンツを残しながらですこのデモでは風景写真や自撮りなど自分のアルバムから数十枚を使いました同じスタイルを他のタイプの画像に適用したい場合例えばペットの写真を何枚かコンテンツセットに入れておきましょうそしてフィルタータイプをアプリケーションシナリオに応じて画像または動画から選択しますこのデモでは画像を選びましたスタイルを静止画に適用したいからですまたお気に入りのスタイルとオリジナルコンテンツの組み合わせを得られるまでスタイルの強度や密度反復回数を実験することもできますこれらのパラメーター設定方法の詳細は去年のWWDCセッションをご覧くださいでは新しく作ったフィルターを画像にかけてみましょうすごい娘の絵では私はこんな風なのですねテクスチャや色がしっかり反映されています違う画像ではどんな風に見えるでしょうか？このウサギは娘の大のお気に入りでよく遊んでいますがこのウサギと自撮りを撮ってフィルターを掛けたらどうでしょうか？
ウサギにも娘の絵のスタイルが適用されていますね娘に見せて他の絵も試すのが楽しみですとても楽しいでしょうこのデモでは iOSのCreate ML フレームワークにあるStyle Transferモデルでカスタムの画像フィルターを作る方法を説明しましたではこれはコードではどうなっているでしょうかまず 1つのスタイル画像とコンテンツ画像セットを指定するデータソースのトレーニングを定義します次にチェックポイントの保存先などを指定するためのセッションパラメーターを定義しますそしてこれらのパラメーターでジョブのトレーニングを定義します最後にジョブのトレーニングを振り分け正常に完了したら画像のスタイル化を行うための学習を行なったCore MLモデルを保存しコンパイルインスタンス化を行い推論を開始しますそれだけですこれがCreate MLフレームワークの Style Transfer APIを使ってカスタムの画像フィルターを作る方法です同じようなAPIパターンに従うタスクは他にもありますここまで画像やテキスト音声や動画などリッチメディアデータタイプからのモデル作成を可能にするタスクについてお話ししましたでも Appがこうしたデータタイプを扱わない場合は？ここからはJackがこのようなケースでAppを動的にする方法を説明しますタオありがとうここまで説明してきたようなタスクに加えて iOSのCreate ML フレームワークは構造化された表形式データの分類や回帰にも対応していますこれによってより動的な App体験を創り出す方法を見ていきましょうまず分類と回帰についてですが分類はトレーニングデータセットのデータから特定のクラスを予測することを学習します回帰も同様ですが個別のクラスラベルではなく数値の予測を学習しますこれらは一般的な表形式データの分類や回帰のトレーニング用のAPIでそれらを様々なシナリオで使えるようになっています特にiOSの Create MLでは各シナリオに4種類のアルゴリズムが提供されています通常の表形式モデルを使うにはちょっと作業が必要ですモデルで使いたい機能やターゲット値を決めなければならないからですしかしこれはもっと簡単にできますここで表形式の回帰器で Appをよりパーソナライズされたものにしてみましょうこれはシンプルな出前注文Appですがこのエリアにあるレストランを見てみると Amazing Thaiというレストランがありますねこれを選択するとレストランから注文可能なメニューや各メニューの情報が表示されますシンプルなAppですがもっと良くするにはどうすれば良いでしょう使うにつれてAppが私の行動を学習し私が気に入りそうな店やメニューのおすすめをインテリジェントに出せるようになると便利ですよねただのシンプルなアプリが本当に動的なAppへと進化するでしょうこれはアプリで表形式の回帰器をトレーニングすることで実現可能です 3種類の情報を構造化された表にまとめ新しく動的な体験を作れるようにモデルのトレーニングを行いたいと思いますまずはコンテンツです Appに読み込むデータのことですレストランAppのケースで言うとメニュー情報です次はコンテキストでここではユーザーが注文をする時間帯です最後に注文履歴を追加してデバイス上でユーザーにぴったり合った体験を作りますコンテンツとコンテキスト過去のユーザーとのインタラクションを組み合わせることで今後のインタラクションを予測できますパーソナライゼーションの絶好の機会ですここではユーザーが今後気に入りそうなメニューを予測可能にしてみましょうモデルを追加した Appに戻って今日のランチはピザの気分ですランチと指定して Pizza Parlorを選択しマルゲリータを選んで注文しますこのウィンドウに表示されているのはまさに表形式回帰器でトレーニングされた情報ですコンテンツはメニューに関連するキーワードですトマトやモッツァレラチーズなど材料やレストラン情報 --ここでは Pizza Parlorですねそしてメニューのジャンルここではピザですこのモデルのコンテキストはその日の時間帯です今回はランチなので私がランチに気に入りそうなものはこういうものだとモデルに学習させます最後にインタラクションは私が他ではないこのメニューを注文したということですトレーニング中の回帰器が私が注文しそうな各メニューのお気に入りスコアを予測します今回は私が特にこのメニューを注文したと学習しましたメイン画面に戻るとモデルのトレーニングが完了しウィンドウが新しくなって私に合わせたメニューをおすすめしています私が実際に注文したマルゲリータピザは最初のおすすめに出ていますが次のおすすめには全く別の店のカプレーゼサンドが表示されていますまた他のピザもいくつかトップ近くに出ています別の例を試してみましょうディナーを注文するとして
今回はAmazing Thaiのイエローカレーにしますモデルが更新されていますね私の好みや注文する時間帯のコンテキストを学習しています今は注文したばかりのイエローカレーがトップで似たようなカレーが次のおすすめに出ていますその次はベジタリアンピザです今注文したカレーと同じくマッシュルームとピーマン入りです Appは私がピザを気に入ると知っているのです私のディナーの第一候補ではないとしても翌日にランチを注文しようとするとモデルは私がランチに注文しそうなメニューとディナーのそれの区別を学習していましたこれは本当にパーソナライズされた体験につながりたった2回注文しただけで私がいつ何を食べたいか正確に見つけられるようになりました表形式分類器や回帰器を Appに追加するには 3つのステップがありますデータセットの用意とトレーニングそして予測ですこの最初の関数はメニューやキーワードから回帰で使われる特徴量を作るものです各メニューに関連する keywords を現在の meal（コンテキスト）と組み合わせて新しいモデルがコンテンツ（メニュー）とコンテキスト（注文）キーワードの間のインタラクションを検出できるようにする新しいキーワードを作成しますデータエントリに特定のキーワードが存在することを単純に示すために辞書に1.0という値を入れましたまずユーザーが注文したメニューごとに先に生成した特徴量と正の目標値をエントリーとして追加しますしかしこれだけではモデルは私が気に入るメニューとそうでないものの区別を学習しませんそのためメニューに含まれていない全てのキーワードをマイナスの目標値 -1で入力していますこれでモデルはどのキーワードがユーザーの好みに一番マッチするか学習できますこの組み合わせた情報を DataFrame として keywords と target 両方を指定します最後に予測したい列が 1または-1に設定した target の列であると指定してモデルのトレーニングを行いますここではモデルが単純な線形回帰器になっていて Appで使える意味のある結果を生成します予測時には推測を実行したいデータを指定してトレーニングしたモデルから predictions を呼び出すだけですここまで iPadOSとiOS アプリで Style Transferモデルと表形式回帰器のトレーニング方法を見てきました機械学習トレーニングをアプリに統合するベストプラクティスを見ていきましょう一般的に機械学習ではベストプラクティスに従うほうが良いです例えば、トレーニングデータセットに含まれていないデータでモデルがどのように動作するかを常にテストします時間がかかるトレーニングタスクでは非同期のトレーニングコントロールやチェックポイントメカニズムを活用してモデル作成ワークフローをカスタマイズしましょうモデル作成は場合によって計算量が多くメモリを消費したり追加のアセットのダウンロードが必要なケースがあります Appと統合するときにはこれらを念頭に入れてください詳しくは当社APIや資料をご覧くださいベストプラクティスをもっと知りたい方は過去の「Designing Great ML Experiences」や「Control training in Create ML with Swift」の他のWWDCセッションをチェックしてくださいこのセッションではiOSの Create MLフレームワークの使い方を説明しました Style Transferや表形式回帰器を使った例を用いましたが Create MLテンプレートのほとんどはiPhoneやiPad で直接トレーニングできます iOSでのトレーニングを通じユーザープライバシーを守りつつユーザーにカスタムのパーソナライズされた体験を与える動的なアプリを作れますトレーニングとインターフェイスが完全に内蔵されているためどちらもモデルデプロイメントの心配は無用ですどんなAppができるか楽しみですねご視聴ありがとうございました WWDCをお楽しみください ♪

// define training data source
let data = MLStyleTransfer.DataSource.images(styleImage: styleUrl, contentDirectory: contentUrl)

// define session parameter
let sessionParameters = MLTrainingSessionParameters(sessionDirectory: sessionUrl)

// define training job
let job = try MLStyleTransfer.train(trainingData: data, sessionParameters: sessionParameters)

// dispatch training job 
// save out model upon receiving successful completion, compile for later use
// make prediction with CoreML model
try model.write(to: writeToUrl)
let compiledURL = try MLModel.compileModel(at: writeToUrl)
let mlModel = try MLModel(contentsOf: compiledURL)
let inputImage = try MLDictionaryFeatureProvider(dictionary: ["image": image])
let stylizedImage = try mlModel.prediction(from: inputImage)

13:39 - Collecting features for a regressor

func featuresFromMealAndKeywords(meal: String, keywords: [String]) -> [String: Double] {

    // Capture interactions between content (the dish keywords) and context (meal) by
    // adding a copy of each keyword modified to include the meal.
    let featureNames = keywords   keywords.map { meal   ":"   $0 }
    
    // For each keyword, create an entry in a dictionary of features with a value of 1.0.
    return featureNames.reduce(into: [:]) { features, name in
        features[name] = 1.0
    }
}

14:08 - Preparing training data

var trainingKeywords: [[String: Double]] = []
var trainingTargets: [Double] = []

for item in userPurchasedItems {
    // Add in the positive example.
    trainingKeywords.append(
       featuresFromMealAndKeywords(meal: item.meal, keywords: item.keywords))
    trainingTargets.append(1.0)
            
    // Add in the negative example.
    let negativeKeywords = allKeywords.subtracting(item.keywords)
    trainingKeywords.append(
       featuresFromMealAndKeywords(meal: item.meal, keywords: Array(negativeKeywords)))
    trainingTargets.append(-1.0)
}

14:37 - Training a linear regressor model

// Create the training data.
var trainingData = DataFrame()
trainingData.append(column: Column(name: "keywords" contents: trainingKeywords))
trainingData.append(column: Column(name: "target", contents: trainingTargets))

// Create the model.
let model = try MLLinearRegressor(trainingData: trainingData, targetColumn: "target")

14:58 - Making a prediction

// Setup the data to run an inference on.
var inputData = DataFrame()
inputData.append(column: Column(name: "keywords", contents: dishKeywords))

// Call predictions on the trained model with the data.
let predictions = try model.predictions(from: inputData)

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。

クエリの送信中にエラーが発生しました。インターネット接続を確認して、もう一度お試しください。

リソース

関連ビデオ

WWDC22

WWDC20