医療専門家向けESP32駆動の眼鏡組込タイプ 拡張現実ヘッドアップディスプレイ プロトタイプ DocInSight

Doc InSightは、15年以上の経験を持つプロのソフトウェアエンジニア兼メーカーであるNickBildによって作成されたプロトタイプです。Nickの最新のプロジェクトは、医療専門家向けのESP32駆動の拡張現実ヘッドアップディスプレイで、眼鏡に組み込まれています。特定のQRコードが検出されると、電子健康記録からの関連する医療情報が着用者の視野に表示されます。情報表示は完全にパッシブでハンズフリーです。ユーザーの操作は不要です。

機械学習（ML）アルゴリズムがバックグラウンドで実行され、患者の安全性が向上します。特に、最も一般的な医療過誤の2つは、治療関連の感染症と投薬過誤です。Doc InSightは、患者の治療時間を短縮したり、医師の燃え尽き症候群につながる可能性のある追加の手順を医療提供者に提供することなく、これらのタイプのエラーを排除しようとしています。

OV2640イメージセンサーを備えたESP-EYE開発ボードは、Doc InSightの着用者が見ているものの画像をキャプチャし、それらの画像に対して2つの主要なアルゴリズムを実行します。マイクロコントローラーのニューラルネットワーク用のTensorFlow Liteと、QRコードのデコードアルゴリズムです。

現在、2種類のQRコードが検出されています。名前、年齢、性別などを明らかにする患者に付けられたものと、検査中の患者に以前に処方された薬のアレルギーなど望ましくない副作用情報。このすべての情報は、着用者の視界内の透明なLCDに表示されます。

さらに、カスタム畳み込みニューラルネットワークが開発され、手洗い認識用にTensorFlowLiteでトレーニングされました。モデルは量子化され、リソースに制約のあるマイクロコントローラーで使用するための適切な構造に変換されました。したがって、たとえば、プロバイダーが患者に遭遇してから2分以内に（MLアルゴリズムによって決定された）手を洗わなかった場合、手洗いのリマインダーも表示されます。

Bill Of Material：部品表

• OV2640イメージセンサーを搭載したEspressifのESP-EYE開発ボード
• イメージセンサー用延長フラットリボンケーブル
• ノキア5110LCD
• Adafruit QT Py
• Adafruit Powerboost500充電器
• 2000 mAhLiPoバッテリー
• マイクロUSBブレークアウトボード
• USB-Cブレークアウトボード
• その他のワイヤー
• 木製ダボ
• ホットグルー
• メガネフレーム
• カウンターウェイト用の金属ディスクまたは同様のもの

Nick Bildのプロジェクトのすべての詳細とコードを入手するには、彼がhackster.ioで作成した投稿を確認してください。

詳細はお問い合わせください。