AVS（Automatic Visual Sensor）システムは、異常検知や計数など、従来の人による目視作業を機械学習センサで自動化するクラウドシステムです。

AVSシステムを開発したきっかけは、値札や商品タグを印刷している会社様からタグの印刷において発生する不良品を自動で検出して欲しいとのご依頼を請けたことに起因します。

まず、お客様から不良品となるタグを集め、欠陥パターンを20種類程度に分類してシステムで検出できるように3つのツール「位置決め」「欠陥検出」「文字認識」を開発し、並列に構成しました。

Analyze

欠陥検出 UnSupervised： OK画像のみの学習 Supervised： OK画像と欠陥教示済NG画像で学習

Classify

分類 欠陥検出ツールと組み合わせて、検出した欠陥を分類することも可能

Movie

動画オブジェクト検出 動画内の各フレームに映る異常なオブジェクトをリアルタイムで検出

Locate

位置決め 画像内の様々なオブジェクトをクラス別に検出

Read

文字認識 読取の困難な文字でも学習させて登録可能 多数のフォント登録済み

Count

数量検査 画像内のオブジェクト数量を計測

Bitmap

印刷物検査 文字潰れ、文字薄、白抜けの不良度合いを指定して検出が可能

ただ、「印刷の濃淡」と「文字の白抜けや潰れ」に関しては3つのツールでは対応できなかったため追加で機能を開発しました。「印刷の濃淡」に関しては文字の濃度を数値で取得し、お客様側で閾値を設定できるインターフェースを作成しました。またマスターデータとの照合機能を強化することで「文字の白抜けや潰れ」の認識を可能にしました。

また、AVSを実工場に導入させるのにあたって「タグ1枚あたりの処理時間」をミリ秒単位で指定され、この点で苦労しました。

機械メーカーの協力を得て試験用の搬送機を開発し、流れてくるタグを認識するスピードを測定し、そこから高速化を図るために内部的に不要な処理を省くといった工夫を行うことで、最終的には要求の1.5倍の速度で全ての欠陥を検出することに成功しています。

本案件含め、AVSシステムは様々な案件に対応する中で「分類」「印刷物検査」「動画オブジェクト検出」「数量検査」の4つを加え、合計7つのツールを開発するに至りました。

これらを標準機能として組み合わせることでお客様の要件に適応させる他、必要に応じて機能を別途スクラッチで開発しています。

機械学習センサツールを持っているソフトハウスや商社はあるものの、ツールだけでは解決できず、PoCの段階で終了してしまうケースが少なくありません。お客様固有の課題に対しても柔軟に対応できる技術力と開発力がAVSシステムと当社の強みです。

AVSを開発した背景にあるのが、猫の目線を認識するアプリの存在です。

これは猫の写真をInstagramにアップしていた代表の角田が「猫がカメラ目線のときの写真に“いいね”が付きやすいのではないか？」と仮説を立て、機械学習を用いて猫のカメラ目線を認識する技術を開発したものです。2020年には特許権を取得しています。

このアプリの話をお客様にしたところ「その技術を使って印刷の検査もできないか」というご相談をいただきました。

当時、お客様の印刷工場では目視による検品を行っていたのですが、タグの発注元による要求水準の高さ、人件費の高騰、人手不足、人的エラーの高さなどが経営レベルで問題となっており、特に印刷エラーのパターンの多さから、目視による検品には限界を感じていたそうです。

当社ではお客様と共同、単独にかかわらず研究開発を積極的に行っており、AVSシステムという自社サービスにつなげることができたのは当社の技術探求の文化が生んだとも言えます。

当社では機械学習センサで異常検知や計数など、従来の人による目視作業を自動化するクラウドシステム「AVS（Automatic Visual Sensor）」を提供していますが、導入前にPoC（実証実験）を行ってから具体的な要件を詰めていくことも可能です。

このPoCに当たるのがAVSトライアル評価サービスです。これは対象物の異常や変化の検知、計数といった目視による検出作業を機械学習に置き換えることが可能かどうかを検証するサービスです。

具体的には、お客様からお持ち込みいただいた検証対象品に対し、AVSの7つの基本機能（欠陥検出・分類・動画オブジェクト検出・位置決め・文字認識・数量検査・印刷物検査）と、当社が保有する豊富な学習済みモデルを使ってトライアル評価を行います。

AVSを使ったPoCの事例を3点紹介します。

1点目の事例は、おにぎりの数をリアルタイムに計数するものです。おにぎり製造工場で、製造途中のおにぎりを外国人労働者に持って帰られてしまうことがあり、リアルタイムに個数を管理したいというご要望から実証実験を行いました。

リアルタイムに計数するため動画データをインプットにし、AVSツールの基本機能である「欠陥検出」と「動画オブジェクト検出」を使うことで、リアルタイムでおにぎりの計数に成功した事例です。

2点目の事例は、果物の症状分けです。果物は不良症状（押され・果肉の変色・過熟・未熟など）の判定が非常に難しく熟練作業員の目視に頼っていましたが、特定の作業員への依存や判定のバラつきなど、品質管理体制に懸念がありました。

この不良症状をAVSで判定できないかと相談を受け、お客様から果物の断面の画像データをいただいて実証実験をした事例です。

まず正常な状態と不良症状の出ている果物の画像を、それぞれ学習モデル作成データとして用意し、学習モデルを基準にAVS側で不良症状を判断しました。

お客様にご用意いただいた画像はスマートフォンで撮影したもので、画質としては十分とは言えないものでしたが、それでもAVSで判定できることはわかったので、具体的な導入ステップのご提案まで用意した事例になります。

3点目の事例は、漢方薬の材料となる木の枝を画像認識で見分けるというものです。3種類の枝を表皮から特徴を学習し、正確に分類したいというご要望でした。

この3種類は見分けが難しく、素人が採取に行くと間違った枝を持ち帰ってしまうという課題がありました。

まずはお客様から当社に枝をお送りいただき、当社で撮影した表皮画像を入力モデルとしてそれぞれの漢方の特徴をAVSに学習させました。

次にテスト対象となる枝の画像から表皮のテクスチャを複数切り抜き、学習済みモデルと比較して評価を行い、そこから平均を取ってどの漢方に属するかの確率を取得しました。

結果的に表皮の画像から漢方の識別は可能であることがわかり、今後正式な案件となる予定です。

PoCで具体的な成果が出れば、案件化につながります。まずはPoCである程度の成果が出せる手法を確立し、基本機能だけでは足りない部分のスクラッチ開発や自動検品システムのライン化など、より具体的な仕様に落とし込んでお客様にご提案します。

PoCではAVSの7つの基本機能だけを使って行うことがほとんどです。今後AVS案件の増加によってノウハウが蓄積され、基本機能を強化できれば、実証実験の幅が拡大し、お客様により貢献できることが期待できます。

「CLIP STUDIO WALL」は事前の準備や特別な知識が無くても、どなたでも簡単に画像ファイルを3D表現のコンテンツ作品にして飾ることができるサービスです。クリエイターの個展、美術系学生の課題発表など教育機関で活用された事例もあります。

具体的には、「ステージ」「WALL（壁）」と呼ばれる3D空間上に自分のデジタルコンテンツをパネルとして自由に配置、ブックと呼ばれる本形式にまとめて展示、作成したステージをURLでシェアするといったことができます。

また展示している作品は持ち帰ることができ、作品を展示する壁や内装を自由にアレンジできます。バーチャル空間上に設置されたギャラリーや美術館のイメージです。

これらのステージ上に設置された作品群をユーザが自由に歩き回り観覧する「リアルさ」や、作品の品質を大きく損ねることなく閲覧できる点など、大いにこだわったサービスとなりました。スマートフォンでの利用を優先して想定したことも、時代の流れに合わせたこだわりのひとつでした。

当社では本案件に対し、要件定義から詳細設計、開発・テスト、リリースまで一気通貫で2年半ほど支援従事してきました（2022年7月時点）。開発はウォーターフォールではなく、お客様からの仕様変更のご要望に迅速かつ柔軟に対応できるスプリント開発の手法で行ったのが特徴的です。

開発体制もお客様側のチームを含め十数名以上の大所帯であり、比較的大きく中長期的に携わった案件でした。

環境としてはAWSのクラウドプラットフォームを使用しています。またフレームワークにはLaravel、Vue.jsなどを使いました。さらにフロント・バックエンド環境、データベースの構築まで当社が深く携わりました。

AWSにおいてはEC2、S3、Lambdaを用途に応じて組み合わせて使いました。例えばLambdaはバックエンドの非同期処理に使い、大量に扱う画像などはS3で管理するといった使い分けをしています。

3Dのビジュアル部分はお客様側のチームが担当しましたが、それ以外の基盤やWebの部分をメインで担当しました。またWeb部分に関してはGUIのデザインをご提案しながら進めていきました。

本案件は仕様のブラッシュアップ頻度が高く、お客様の意向を的確に汲み取り、イメージを具体的な形に落とし込んだ上でご提案するよう、積極的な姿勢を重視しました。

また、開発効率を上げる為や無駄な作業を軽減する為にコミュニケーションの取り方をかなり意識しました。コロナ禍ということもありZoomによるリモートミーティングやビジネスチャットツール（TypetalkやSlack）等を駆使し、細かな点や気になった点を共有しながら、互いに積極的に意見を出すことで補完していきました。特に他のチームやサービスと連携する場合は、作業の優先順位や連絡スピードにも注意を払いました。

さらにスピード感も重視して作業に取り組むことを意識し、お客様からイメージや構想案が出たら迅速にイメージ化し、短かくて2、3日、長くても1週間でデモサンプリングを作り、お客様にご確認いただくという流れを作りました。アイデアをすぐに形にする姿勢はお客様への大きな貢献ポイントの１つであったと思います。
チームメンバーそれぞれの思いはあれど、何よりお客様のやりたいことを形にして実現するお手伝いをさせていただき、一定のご評価を得られたことが、我々にとっても多くの喜びや高い達成感を得られる開発支援案件の１つとなりました。

RPAテスト支援ツール「RPA Tester」は、RPA開発時に擬似的に本番環境と同一の環境を擬似的に構築し、本番業務を再現したテストを行えるツールです。

医療や金融などのシステムにおいては、本番データに直接アクセスすることによるデータ改ざんや操作ミスによるデータの上書きは特に忌避されるものです。そのような背景から、使い慣れたシステムを捨ててまでミスする可能性のある新しいシステムの導入を敬遠する傾向が見られます。

本ツールの特徴は、擬似的に用意した本番データを使って画面操作を再現することで、どれだけ疑似データを触っても本番データには一切の影響を与えない点です。

具体的には、本番環境とユーザー端末の間にツールを設置することで、本来の接続先である本番環境へはユーザーが直接アクセスするのではなく、本システムが代理でアクセスをし、その結果を変換・登録（録画）してユーザーに返します。

この録画された擬似的セッションを再生することで、ユーザーに本番環境に接続しているように見せることができ、ユーザーは疑似的セッションが取得した本番業務データを使って、本番業務の再現やレアケースを含めた網羅的なテストを可能にします。

本ツールの活用により、仮データの作成にかかる作業コストの削減、新システム導入後の画面構成の把握や操作感の体験学習が可能となり、新システム導入への心理的抵抗を軽減することができます。

システムの特徴として、セッションハイジャックの仕組みを使ったことが挙げられます。これはセッションをジャックすることで利用者のログイン情報を取得し、なりすましの状態をシステム的に再現するというものです。

一般的なWebアプリケーションはJettyのようなフレームワークを使えばHTTPのプロトコルに詳しくなくても作れますが、この案件ではフレームワークを使わずネイティブにHTTPに触れる形になっています。HTTPのリクエストヘッダーやレスポンスヘッダーを読み取って解析し、なりすまし用に作り直して返す、これを繰り返すイメージです。

セキュリティ対策の厳しいサイトや、マウスのトラッキングで人間かどうかを認識するサイトの扱いには苦労しました。特にマウスのトラッキングは再現が難しく、個々に解析を行い、再現不可能なものは別の形で補正をかけるといった、非常に泥臭い作業をしました。

技術要素としては、HTTP・HTTPSのプロトコルに関する知識やWebアプリケーションのセキュリティ傾向に関する知識、なりすましに関する知識、セキュリティ対策を回避する知識などが高いレベルで要求されました。

また、Googleが提供しているライブラリを全部把握しているくらいのレベルや、サイトがどのような思想傾向で作られているかを把握できる能力も必要です。

さらにセッションもこちらで全て管理する必要があるので、プロトコルの知識を生半可に持っているだけでは再現ができません。Webアプリケーションの全てを知っている、Webサーバーを自分で作れるレベルでないと実現不可能な難易度の高い案件でした。

医療案件ということで、当初は用語がわからなかったのが苦労した点です。特に医療機器の名称や病名など、英語で書かれているケースが多いので、慣れるまでは日本語と英語のマッピングに苦労しました。

また、本案件ではお客様からのリクエストで、当時（2017年）としては新しい技術であったGoogle App Engineを利用して、Go言語での開発を行いました。

さらに、当時流行り始めたAngularを利用したSPA（Single Page Application）や、NoSQL（Google Cloud Datastore）を利用するなど、これまで対応経験が少なかった技術を使って開発したのが本案件の特徴の一つです。

工夫した点としては、Dockerコンテナによる並列処理の活用が挙げられます。

バージョンアップに伴うデータコンバートが必要でしたが、v1で使用していたDICOMファイルは1,000万件、しかも一度の撮影当たり100～200MBと容量が大きかったため、単純にコンバートしてアップロードすると処理が終わるまでに数ヶ月かかってしまうことが課題でした。

そこで、GUIのある移行ツールをDockerコンテナに組込んで並列処理を行うことで、コンバート・アップロードにかかる期間を大幅に削減することができました。

当社では、新しい技術やメンバーが希望する分野の案件を請けられる体制や他社との関係性を築いており、技術と対応可能案件の幅を拡げています。

本システムの画面上で脳動脈瘤を検知する画像認識機能のバージョンアップのプロジェクトも行いました。こちらは結果的にバージョンアップを果たすことなく終了しましたが、かなりのこだわりを持って取り組んだプロジェクトです。

研究開発の領域であっても闇雲に手探りで始めるのではなく、某大学院教授にご協力いただき、共同研究によって脳動脈瘤を検知する画像認識AIアルゴリズムを開発しました。

開発にあたっては、ディープラーニングの一般的なアルゴリズムを使う前段階として、単に輪切りにした脳の画像を教師データとするのではなく、脳の三次元モデルの作り込みを行う工夫をしました。

当社では、クラウドを使った開発支援だけでなく、研究開発支援も積極的に行っています。有識者と共同で研究したり、国内外の論文やライブラリを参考に実用化研究したりできるメンバーがいることは当社の大きな強みです。

本システムのバージョンアップ後、本システムを導入した脳ドック医院から要望を受け、患者さんがPCやスマートフォンで診断結果を確認できるビューワを開発、リリースしました。
DICOMファイルから画像を切り出して軽量化することで、スマートフォンでもストレスなく閲覧できる仕様になっています。