先日(2018/5/8-10)開催されたGoogleの開発者向けイベント「Google I/O 2018」で「ML Kit」[1]のβ版が発表された.
AndroidやiOS向けアプリでML Kitを使うことで, 機械学習を活用したテキスト認識, 顔検出, 画像のラベル付けなどが容易に利用できるようだ.

そこで, quickstart-android[2]を早速試してみた.

1. MK Kit概要
1.1 主な機能
現時点では, 5つのAPIが提供されており, APIによってOn-deviceとCloudでの対応状況が異なっている.
On-devieとCloudの両方に対応している場合でも, 認識精度や取得できる情報が異なっている.

MLKit02

FeatureOn-deviceCloud
テキスト認識
顔検出
バーコードスキャン
画像のラベル付け
ランドマーク認識

1.2 主な特徴
 ・ 「Firebase」上で利用でき, 「Android」向けと「iOS」向けの双方が用意されている.
 ・ On-device上の機能を利用する場合は, ネットワーク接続なしに無償で利用できる.
 ・ 独自のTensorFlow Liteモデルを利用できる.
など, など...

2. ML Kitデモのビルド
2.1 ソースコード取得
(1) リポジトリをクローンする.

 $ git clone https://github.com/firebase/quickstart-android.git

(2) Android Studioでquickstart-android/mlkitをインポートする.

MLKit

2.2 Firebaseのプロジェクト作成
(1) Firebase Consoleでプロジェクトを作成する.
(2) プロジェクトの設定ファイルgoogle-services.jsonをダウンロードする.
(3) Android Studioのmlkit/appの下に, google-services.jsonを配置する.

2.3 ビルド
今回は以下の環境でビルドした.
[ビルド環境]

 ・ Android Studio 3.1.2
 ・ buildToolVersion 27.0.3

 ・ compileSdkVersion 27
 ・ targetSdkVersion 27

3. ML Kitデモ
3.1 顔検出
単に顔位置を検出するだけでなく, 目の位置やhappiness度なども認識している.
上の二人は, happiness度低~い.

keyaki01
[出典:欅坂46公式サイト オフィシャルレポート]

3.2 テキスト認識
On-deviceの場合には, 行単位で認識するみたい.
まだ, 日本語は対応していないとのこと.

MLkit03

3.3 バーコードスキャン
バーコードもQRコードも認識できる.
ただ, バーコードは回転に弱い感じ.

MLKit05

3.4 ラベル認識
On-deviceでは400+ ラベル, Cloudでは10,000ラベルの認識ができるそうだ.
On-deviceだと, iPodをMobile phoneと間違えたので, iPod自体がラベルにないのだろう.

MLkit04

まずは, Quickstartのデモを動作させてみた.
On-device上でもラベル認識以外はそれなりに認識できている.
Cloudになると, もっと認識精度はいいだろうし...

だが, あくまでパターン認識なので, 100%正解ってことはない.
誤認識することもあると割り切って, うまくアプリで使ってやることが大事!!

それなりにおもしろいことができるのではとの期待が膨らんできたので, デモのソースコードやML Kitのドキュメントを読んで, 少しアプリへの実装の仕方を勉強してみよう.

----
参照URL:
[1] ML Kit for Firebase | Firebase
[2] firebase/quickstart-android: Firebase Quickstart Samples for Android