KeySight: AI vizuální inspekce kvality produktů
KeySight je AI systém pro vizuální inspekci vyvinutý k identifikaci vadného ovoce přímo na pohybující se výrobní lince. Pomocí počítačového vidění a hlubokého učení řešení detekuje jednotlivá jablka, vyhodnocuje jejich kvalitu a každé klasifikuje jako přijatelné, nebo vadné. Systém je navržen pro provoz v reálném čase na kompaktním hardwaru NVIDIA Jetson, což jej činí vhodným pro integraci s průmyslovými kamerami, dopravníkovými systémy a automatizovanými třídicími mechanismy.
Kategorie:
AI / MLOdvětví:
Výroba potravin / Kontrola kvalityRok:
2025Výzva
Kontrola kvality ovoce se často provádí ručně, takže proces závisí na pozornosti člověka a subjektivním úsudku. Kontroloři musí produkty vyhodnocovat průběžně, zatímco se pohybují po výrobní lince, což může vést k nekonzistentním výsledkům, přehlédnutým vadám a úzkým hrdlům ve výrobě.
Spolehlivé automatizované řešení musí detekovat ovoce v pohybu, odlišit vadné produkty od přijatelných a dodat výsledky dostatečně rychle, aby podpořilo třídění v reálném čase. Naše počáteční testy ukázaly, že provádění detekce a klasifikace kvality v jediném kroku neposkytovalo požadovanou přesnost. Bylo proto zapotřebí specializovanějšího přístupu.
Naše řešení
Vyvinuli jsme dvoustupňovou pipeline počítačového vidění využívající YOLOv8 a YOLO11. V prvním stupni systém detekuje a lokalizuje každé jablko v obraze z kamery. Jakmile je jablko identifikováno, je detekovaná oblast obrazu předána samostatnému modelu binární klasifikace.
Model druhého stupně klasifikuje jablko do jedné ze dvou kategorií:
- Dobré
- Vadné
Kromě detekce a klasifikace systém sleduje každé jablko, jak se pohybuje po výrobní lince. Každému jablku je přiřazena trvalá identita instance, což systému umožňuje rozpoznat stejný produkt napříč více snímky videa. To modelu umožňuje zkontrolovat jablko několikrát během jeho pohybu a z různých viditelných úhlů. Namísto konečného rozhodnutí z jediného snímku systém kombinuje aktuální predikci s předchozími klasifikacemi spojenými se stejným sledovaným jablkem. Využití více pozorování snižuje dopad dočasného zakrytí, rozmazání pohybem, změn osvětlení nebo nevhodného úhlu pohledu. Konečné rozhodnutí o kvalitě je proto založeno na komplexnějším vizuálním posouzení každého jednotlivého jablka.
Oddělení detekce objektů od klasifikace kvality přineslo spolehlivější výsledky než použití jediného modelu k současnému provádění obou úloh. Umožnilo také optimalizovat každou část systému nezávisle. Finální modely byly optimalizovány pro nasazení na zařízeních NVIDIA Jetson. Jejich kompaktní velikost umožňuje rychlou inferenci v blízkosti výrobní linky bez nutnosti přenášet snímky do externí cloudové služby.
Klíčové funkce
- Dvoustupňová AI pipeline: Detekci jablek a klasifikaci kvality zajišťují samostatné modely, což zvyšuje přesnost a usnadňuje optimalizaci systému.
- Sledování instancí: Každé jablko je sledováno napříč po sobě jdoucími snímky videa a je mu přiřazena trvalá identita, zatímco se pohybuje inspekční oblastí.
- Inspekce z více úhlů: Systém vyhodnocuje stejné jablko vícekrát, jak se mění jeho poloha a viditelný povrch během pohybu po dopravníku.
- Historie klasifikace: Predikce z předchozích snímků jsou uchovávány pro každé sledované jablko a kombinovány s novými pozorováními pro spolehlivější konečnou klasifikaci.
- Detekce vad v reálném čase: Systém identifikuje vadná jablka, zatímco se pohybují po výrobní lince.
- Binární klasifikace kvality: Každé detekované jablko je klasifikováno jako dobré, nebo vadné podle natrénovaných kritérií kvality.
- Nasazení Edge AI: Modely jsou dostatečně lehké, aby běžely přímo na hardwaru NVIDIA Jetson instalovaném poblíž inspekční kamery.
- Integrace do výrobní linky: Výsledky klasifikace lze propojit s externími mechanismy, které odstraňují vadné produkty z dopravníku.
- Flexibilní integrace kamery: Kompaktní hardwarová sestava může být připojena přímo ke kameře výrobní linky pro kontinuální inspekci v reálném čase.
Technologie
- YOLOv8
- YOLO11
- NVIDIA Jetson
- Computer Vision
- Deep Learning
- Object Tracking
- Python
Jak probíhá proces inspekce
- Kamera snímá obrazy jablek pohybujících se po výrobní lince.
- Detekční model založený na YOLO lokalizuje každé jablko v obraze.
- Sledovací systém přiřadí identitu každému detekovanému jablku a sleduje ho napříč po sobě jdoucími snímky.
- Každé detekované jablko je předáno modelu binární klasifikace.
- Stejné jablko je vyhodnoceno vícekrát, jak se během pohybu zpřístupňují nové pohledy a úhly.
- Nové predikce jsou kombinovány s předchozí historií klasifikace dané sledované instance.
- Systém vytvoří konečné rozhodnutí, zda je jablko dobré, nebo vadné.
- Výsledek lze odeslat připojenému třídicímu nebo vyřazovacímu mechanismu.
- Vadná jablka pak mohou být automaticky odstraněna z výrobní linky.
Výsledky
Dokončený systém dosáhl přesnosti přes 90 % při identifikaci vadných jablek. Dvoustupňová architektura přinesla lepší výsledky než původní jednostupňový přístup tím, že oddělila detekci jablek od klasifikace kvality. Sledování instancí dále zlepšilo spolehlivost inspekčního procesu tím, že umožnilo vyhodnotit každé jablko napříč více snímky.
Namísto spoléhání na jediný snímek systém využívá několik pozorování stejného jablka z různých úhlů a zohledňuje jeho předchozí výsledky klasifikace. To poskytuje stabilnější konečné rozhodnutí a snižuje chyby způsobené špatnou viditelností, rozmazáním pohybem, částečným zakrytím nebo dočasnými změnami osvětlení.
Optimalizované modely jsou dostatečně malé na to, aby prováděly rychlou inferenci na hardwaru NVIDIA Jetson. To umožňuje, aby detekce, sledování, klasifikace a rozhodování probíhaly přímo u výrobní linky v reálném čase. Řešení lze propojit s průmyslovými kamerami a automatizovaným třídicím zařízením, čímž vzniká kompletní workflow pro detekci, vyhodnocení a odstranění vadných jablek dříve, než postoupí do další fáze výroby.
Pojďme spolupracovat
Hledáte technického partnera pro váš projekt?
Specializujeme se na firmware, edge AI a průmyslovou vizuální inspekci. Projdeme si spolu váš projekt a navrhneme konkrétní řešení na míru.
