Be My EyesのAI機能を利用した写真分析

今回は、写真をBe My Eyes AIとOpenAI社のChatGPT-4のコラボレーションで実現したバーチャルアシスタント機能「Be My AI」に読ませてみて、その精度について検証しました。
なお、判定に用いた写真は画像をパソコンの画面(1920×1080px)に収まる最大サイズで映したものを使用しています。通常はその場で撮った画像で判断しますので、若干違いが生じている可能性があることをお含みおきください。

カップヌードル記念パッケージ写真
Be My AI
この写真には、いくつかのカップヌードルが机の上に並んでいます。カップヌードルは赤と白のストライプのデザインで、「カップヌードル」という文字とともに、それぞれ異なる年号(1971年、1986年、1992年、1995年など)が書かれています。
机の上には、カップヌードルの他に、ノートパソコン、携帯電話の充電器、1.5リットルのコカ・コーラのペットボトルなどがあります。ノートパソコンは黒く、キーボードが見えています。
職員による解説
ノートパソコンの上にカップヌードルの年間売上1000億円達成記念パッケージが6個並んでいます。いろいろな年代の懐かしワードがカップヌードルのロゴ風の文字で側面に描かれています。
左から、ちかれたびーNOODLE(1975年)、だめだこりゃNOODLE(1977年)、冗談はよしこちゃんNOODLE(1986年)、バッチグーNOODLE(1991年)、やってみそ?NOODLE(1992年)、114106(あいしてる)NOODLE(1995年)。
後ろには1.5リットルのコカ・コーラのペットボトルやきつねうどんのどん兵衛カップも見えます。
カレーパッケージの写真
Be My AI
この写真は、スープカレーのパッケージのようです。上部には大きな「Soup Curry」という文字が書かれており、その下には「極上鶏」と「スープカレー」という日本語の文字があります。写真の中央には、スープカレーのボウルがあり、中にはじゃがいもと鶏肉が入っています。ボウルの上にはスプーンがあり、その上には鶏肉が載っています。また、写真の下部には「1食260g」、「はたで2倍大」という文字が書かれています。ボウルは青と白のストライプの布の上に置かれています。
職員による解説
これは、JAふらのが販売している富良野スープカレーのパッケージです。ほたてむき身が2個入っていることを強調するパッケージになっています。周りに使われている原材料が置かれた中に、青と白のストライプの布の上にボウルに入れられた当該スープカレーが配置され、大きい具材の中からスプーンでほたてむき身を1個すくい上げている図柄となっています。このパックは1人前260gで、北海道産ほたて、ジャガイモ、人参、うずら卵を使用し、化学調味料、保存料不使用と書かれています。
カレーパッケージ裏面の写真
Be My AI
この写真は、食品のパッケージの一部です。上部には、茶色のソースでコーティングされたジャガイモが入ったボウルの写真があります。その隣には、日本語で「北海道産ジャガイモをたっぷり使った、こってりとしたソースと相性の良い、ポテトのボール」と書かれています。下部には、製品の情報、成分、栄養成分表、お問い合わせ先、賞味期限などが記載されています。また、バーコードも表示されています。
職員による解説
JAふらのが販売している富良野スープカレーのパッケージの裏面です。上部に表面と同じ写真が使用され、北海道産ほたて、ジャガイモ、人参、うずら卵を使った具だくさんでコクのあるマイルドなスープカレーとうたっています。その下の左側に商品の名称、原材料名、殺菌方法、内容量、賞味期限(の表示位置)、保存法方、販売者が書かれた表があり、製造所の記載の下にアレルギー物質の表示があります。
右側には栄養成分表示が表にして記載されています。下段には調理方法や注意事項が書かれており、その下に賞味期限の刻印と製品番号のバーコード、使用後の分別区分が表示されています。
営業カレンダーの写真
Be My AI
この写真は、2023年11月から2024年2月までのカレンダーが印刷された紙です。各月のカレンダーには日付が表示されており、いくつかの日付は赤色または青色でハイライトされています。ページの下部には、営業時間が「ランチ: 11:00-15:00」、「ディナー: 17:00-22:00」と記載されています。また、電話番号「0987-28-9999」が記載されており、予約を受け付けていることが記載されています。さらに、休業日についての情報も記載されています。
問:11月の赤色で塗られた日は?
AIの回答:2日、15日、30日
問:2月の青色で塗られた日は?
AIの回答:22日、25日
職員による解説
この写真は、どこかの飲食店の2023年11月から2024年2月までの営業カレンダーが印刷された紙です。カレンダーは左端が日曜日から始まる7曜スタイルとなっています。いくつかの日にちは赤や青で塗られています。その下に営業時間があり、ランチ11:00~15:00 ディナー17:00~22:00と記されています。また、ランチのみテイクアウトを行っていることが記載されています、電話番号は0987-28-9999です。その下にカレンダーの注釈として赤色で塗られた日は休業日、青色で塗られた日はディナーのみの営業日であることが記されています。
何かが屋根に上っている写真

Be My AI
この写真には、青い建物が写っています。建物の屋根の上には、巨大な猫のオブジェがあり、建物の壁には猫の足跡が描かれています。
建物の前には、50の制限速度と右矢印が付いた道路標識があります。また、建物の近くには、いくつかの他の建物、車、そして駐車場が見えます。空は曇っているようです。
職員による解説
6階建ての青い外壁のビルがあります。屋上エレベータ機械室の屋根によじ登った大きなゴリラのオブジェがあります。ビルの外壁にはゴリラの足跡があります。
また近くのピンクの3階建ての建物の階段部分のひさしでは子ゴリラが手をあげています。
建物は大きな道路から見え車が行き来しています。また近くに駐車場があるようで冷蔵機能付きトラックが何台も停まっています。
道路を跨いだ標柱があり50キロ制限の標識があります。
近くには、照明灯や消火栓表示板が見えます。
左の白黒写真は、その上の写真の解説です。赤丸の中にあるオブジェをAIは猫と判断しましたが、実際にはゴリラでした。また、隣の子ゴリラについては判別できなかったようです。
亀の写真
Be My AI
この写真は、亀が裏返っている様子を捉えています。亀は土の上におり、背中の甲羅が上になっています。亀の足は空中に向かって伸びており、頭は下を向いています。背景はほとんど土で、少しの草や葉が見えます。
職員による解説
この写真は、亀がひっくり返ったのち、体制を立て直そうと腹側をこちらに向けて横向きにもがいている様子を捉えています。亀は土の上にいて、首や四肢は伸びています。
マリオラッピング電車の写真
Be My AI
この写真は、駅のプラットフォームに停車している電車です。電車は、 スーパーマリオのキャラクターでデコレーションされています。マリオが大きく描かれており、彼の周りには星やコインなどが描かれています。電車の側面には「SUPER NINTENDO WORLD」と「UNIVERSAL STUDIOS JAPAN」と書かれています。
電車の窓を通して、中にいる人々が見えます。
プラットフォームには黄色い点々のラインがあります。
職員による解説
駅に停車している車両。側面全体にラッピングが施されています。「UNIVERSAL STUDIOS JAPAN」にできた「SUPER NINTENDO WORLD」とのコラボラッピングで マリオやルイージなどのキャラクターが描かれています。乗降口は開いており、中に人影が見えます。
プラットホーム端には赤い警告ライン、その手前に乗降口を示す警告の点字ブロックそれよりホーム側に安全地帯との境界を示す点字ブロックが敷かれています。
阪急電車の写真その1
Be My AI
この写真は、駅のプラットフォームに停車している電車です。電車の外側は、大阪をテーマにしたかわいいキャラクターで装飾されています。キャラクターは、たこ焼きを食べているりんご型の生き物や、お茶を飲んでいる小さな鳥など、さまざまです。
電車の色は濃い茶色で、窓の上には「Local」と「Takatsuki-shi」という文字が表示されています。また、電車の側面には「1306」という数字が書かれています。プラットフォームは、灰色の床と白い線で区切られています。電車の窓からは、中に座っている人々が見えます。
職員による解説
駅に停車している高槻市行き普通電車。阪急電鉄とすみっコぐらしのコラボラッピングで京都線沿線の様子を描いています。左側には大阪を代表する食べ物としてたこ焼きを、右側には床几(しょうぎ)の上で京都を代表する食べ物として生八つ橋やお団子、抹茶アイスを食べているキャラクター達がいます。中央部分に車両番号1306のプレートが付けられています。乗降口は開いており、車内に人影はありません。
阪急電車の写真その2
Be My AI
この写真は、駅のプラットフォームに停車している電車です。電車の外側は、京都をテーマにしたかわいいキャラクターで装飾されています。左側には、鳥居と着物を着たキャラクターが描かれています。右側には、本を読んでいる着物を着た猫のキャラクターと、他の小さなキャラクターが描かれています。電車の色は濃い茶色で、窓を通して車内が見えます。プラットフォームには黄色と白の線が引かれています。
職員による解説
駅に停車している阪急電鉄の車両の一部です。阪急電鉄とすみっコぐらしのコラボラッピングで京都をテーマに左側には鳥居の近くに神職や巫女、開運お守りを持ったキャラクターが配置されています。右側には左大文字の山のほか舞妓に扮したキャラクターが描かれています。窓下中央部分には蹴鞠や手毬と戯れるキャラクターもいます。画面中央に金色の阪急電鉄のコーポレートマークが描かれています。
近鉄の写真
Be My AI
この写真は、駅のプラットフォームで停車している電車の一部です。電車の外側は、赤と緑の幾何学的なデザインで装飾されています。窓の中には、オレンジ色と赤色のキャラクターが描かれています。電車の側面には、「うさぎと亀対決!」と書かれており、その下には「6076」という数字が表示されています。電車の中には、座席に座っている女性が一人見えます。彼女は黒い服を着ており、手で顔を覆っています。電車の中は、手すりがたくさんあり、床には緑色の模様があります。写真の右側には、錆びた柱が
説明が途中で切れています。
最後まで言ってください。
すみません。写真の右側には、錆びた柱が見えます。柱は緑色で、一部には錆が見られます。プラットフォームには、電車のドアの前に立つための白い線が引かれています。電車の内部は明るく、座席は茶色で、手すりは黄色です。全体的に、電車はきれいでカラフルなデザインが特徴です。
職員による解説
駅に停車している近鉄電車の通勤車両(白地に窓枠部分にマルーンの帯の車両)。車両番号は6076。窓下部分に百舌鳥・古市古墳群の世界遺産登録を記念したラッピングが施されています。ラッピングは緑のモザイク柄で古墳や出土土器や埴輪のシルエットがデザインされています。6076の番号の上には大きく「ようこそ古市古墳群へ!」のタイトルとロゴが枠線で囲まれています。
停車中なので、乗降口は開いていて、中に女性らしき人影が見えます。ラッピングの上の窓には2体の大きな埴輪のキャラクターのラッピングが外に向かって貼り付けられています。やや背の高い埴輪キャラはつり革につかまっていて、まるで車内にいるかのような錯覚に陥ります。
つり革の写真
Be My AI
この写真は、電車の中にあるつり革の部分です。つり革は緑と白の色があり、上部には顔のようなデザインが施された黄色い部分があります。つり革は鉄の棒に取り付けられており、乗客が立っているときにバランスを取るのに役立ちます。
職員による解説
車内のつり革の写真。持ち手部分は三角形になっています。側面には前方後円墳の小さなイラストが描かれています。それにつながる緑の皮ベルトには「世界歴史遺産 百舌鳥・古市古墳群」と書かれたタグとかわいい埴輪のキャラクタ―が付けられています
おせちの写真
Be My AI
この写真は、食卓に並べられた美味しそうな料理が写っています。中央には、色とりどりの料理が詰め込まれたお重箱が2つあります。お重箱には、エビ、カニ、刺身、野菜、果物などが入っています。また、お重箱の近くには、さまざまな種類の巻き寿司が盛り付けられた大きな青い皿があります。食卓には、ソイソースの瓶、オレンジ色の飲み物のボトル、透明なグラスに入った水なども置かれています。背景には、人々が座っている様子が見えます。
問:お寿司の種類を教えてください。
写真には、巻き寿司が盛り付けられた青い皿があります。巻き寿司には、さまざまな具材が使われているようです。具体的な種類ははっきりと見えませんが、色とりどりの野菜や海鮮が巻かれているようです。オレンジ色、緑色、白色の具材が見えます。それぞれ異なる風味と食感を楽しむことができるでしょう。
職員による解説
食卓中央に並べられたおせち料理が写っています。その周りに取皿や祝箸、グラスのお猪口に入ったお酒が用意されています。お重は3種類4段分が置かれています。お重の左側には青い皿に盛られたちくわキュウリが置いてあります。
カツの写真その1
Be My AI
この写真は、日本のレストランで提供されている食事の一部です。写真の中央には、白い皿にフライドチキン、レモンのスライス、そしてサラダ(レタス、トマト、キャベツ)が盛られています。左側には、白いご飯が入った白いボウルと、ネギが入った赤いボウルの味噌汁があります。右側には、青い花柄のボウルに入った豆腐と、ソースとマスタードが入った黒い皿があります。また、赤い箸も写っています。背景には、テーブルの上に置かれたお茶のグラスが見えます。
職員による解説
配膳された定食屋さんの一口カツ定食。左手前にごはん、右側にケチャップ、とんかつソース、からしの入ったタレ付け皿。中央に一口カツ4切れとドレッシングのかかったレタス、キャベツ、ミニトマトのサラダの皿。レモンがカツの上に添えられています。左奥に味噌汁椀とお茶の入ったコップ、右奥に豆腐の入った小鉢と香の物が入った小皿が置かれています。手前には赤い箸が添えられています。豆腐の小鉢にはスプーンが添えられています。
カツの写真その2
Be My AI
この写真は、美味しそうな日本料理のセットです。黒いテーブルの上に、赤い箸が横に置かれています。左側には、赤いボウルに入ったネギの入った味噌汁があります。その隣には、白いご飯が入った白いボウルがあります。中央には、大きな白い皿に揚げたメンチカツが4つ乗っていて、その上にレモンのスライスが1つ乗っています。メンチカツの横には、レタス、キャベツ、チェリートマトのサラダがあります。右側には、豆腐が入った青いボウルがあります。さらに右側には、ソースが入った小さな黒い皿が3
説明が途中で尻切れトンボです。
最後まで言ってください。
申し訳ございません。続きます。右側には、ソースが入った小さな黒い皿が3つあり、それぞれに赤いソース、茶色いソース、黄色いソースが入っています。これらは、黒と赤のトレイに乗せられています。全体的に、料理は色鮮やかで美味しそうです。
職員による解説
この写真は、先ほどの配膳された定食屋さんの一口カツ定食を角度を変えて撮ったもの。左手前にごはん、右側にケチャップ、とんかつソース、からしの入ったたれ付け皿。中央に一口カツ4切れとドレッシングのかかったレタス、キャベツ、ミニトマトのサラダの皿。レモンがカツの上に添えられています。左奥に味噌汁椀とお茶の入ったコップ、右奥に豆腐の入った小鉢と香の物が入った小皿が置かれています。手前には赤い箸が添えられています。豆腐の小鉢にはスプーンが添えられています。

メールマガジンの記事の最後にあった解説の答えはこちら
 


このページの元となるメールマガジン記事はこちら

  • 講習会やイベントのお知らせ等をお送りします メールマガジンのページへ移動する
  • 幸田麻由の職場レポートのメニューに移動する