電子工作初学者は部品の仕様を学ぶする必要があるが,仕様書やソフトウェアシミュレータで勉強することは,難しかったり,現実感が無かったりしてモチベーション低下につながる.
そこで,実際に部品が動く現実感とソフトウェアシミュレータの高速な試行錯誤を同時に達成するシステムを提案した.プロジェクションマッピングによって電子部品の擬似動作を可能にした.実際の部品でなく,3Dプリンタで出力した部品のモックアップでも高い現実感を実現した. これにより初学者のモチベーションの維持が期待できる.
タッチパネル対応ディスプレイを水平にし,その上方にプロジェクタを設置している.ユーザはディスプレイ上を作業面として電子工作を行う.素子の動作状況の提示はすべてPMによって行う.タッチ位置とプロジェクタの投影位置を合わせるためにプロジェクタをディスプレイとミラーリングしている.また,ディスプレイの全体が映る位置にwebカメラを設置している.
ユーザからの入力はタッチパネルとカメラの2種類を用いる.前者はタッチジェスチャなどのディスプレイに直接触れる操作に用いる.後者はスイッチや可変抵抗の状態把握など,タッチパネルに指を付けないオーバーな操作の認識に使用する.
素子によって擬似動作させるために適した投影内容が変わるため,素子によって投影内容を変更している.LED・マトリクスLED・7セグLEDはグラデーションを行わない単色で,素子の発光部分におおよそ一致するような投影で現実感のある発光を再現できた. 豆電球の場合は,擬似点灯させる部分の周りにパーティクル表現を表示することで,単色の投影より現実感のある発光に成功している.
駆動時に発光しない素子もシステムによって現実感のある擬似動作をさせることが可能である.ブザー,バイブレータは,素子駆動時の音を録音したものをPCから鳴らすことにより駆動を表現した.
3Dプリンタでは実部品を出力することはできないが,素子の形を真似たモックアップを出力することは可能である.システムにより,3Dプリンタで出力したモックアップも同様の擬似発光が可能だとわかった.