Hogyan készítsünk összehasonlító kísérletet az algoritmus teljesítményének ellenőrzésére

Egyetlen változó szabályozása és az összehasonlítási eredmények számszerűsítése az összehasonlító kísérlet felépítésének alapvető összetevője. Ezt a gyakorlatba a "kísérleti csoport - kontrollcsoport → változók vezérlőcsoportja → tesztforgatókönyvek tervezése → statisztikai mutatók → eredmény megítélése" lépésekkel lehet átültetni a gyakorlatba. A pontos lépések a következők:

 

1. Kísérleti csoportosítás (világosan határozza meg a vezérlési kapcsolatot) Hozzon létre két-három összehasonlító csoportot annak bemutatására, hogy a különböző algoritmusok miben térnek el egymástól:

1. kontrollcsoport: Hagyományos rögzített küszöbérték összehasonlítási technika (jelenlegi megoldás, alapállapot)

Kísérleti csoport: Az optimalizált algoritmus, amelyet meg kell erősíteni, például a tesztelni kívánt "szakaszos dinamikus + 3σ + EWMA kombinált algoritmus"

Egyetlen optimalizált algoritmus (pl. egyszerűen fokozatos dinamikus küszöbérték az adaptív frissítési erősítés érvényesítésére) a második választható vezérlőcsoport.

 

2. A lényegtelen tényezők szabályozása a méltányosság fenntartása érdekében. A nem-algoritmikus tényezők okozta interferencia elkerülése érdekében a következő feltételeket kell betartani a kísérlet során:

Konzisztens hardver: Ne változtassa meg a hardvert; ehelyett ugyanazt az adatgyűjtő PLC-készletet, ugyanazt a rögzítési helyet és ugyanazt az érzékelőpárt használja.

Következetes működési feltételek: Ne változtassa meg a terméket és ne módosítsa a folyamatot; ehelyett ugyanazon a gyártósoron végezzen vizsgálatot ugyanazon termék- és folyamatparaméterek használatával.

Konzisztens tesztelési ciklus: Ugyanannyi ideig mindkét csoport folyamatos tesztelésen esik át (pl. mindegyik két hétig fut, elegendő számú gyártási ciklust lefedve).

 

3. Hozzon létre három különböző típusú tesztforgatókönyvet, amelyek a teljesítmény minden aspektusával foglalkoznak. Hozzon létre forgatókönyveket, különösen az algoritmus képességeinek alapos megerősítéséhez:

(1) Zavartalanító-teszt hagyományos működési feltételekhez (a téves riasztások arányának megerősítése)

Tesztelési eljárás: Rendszeres gyártás, minden riasztás folyamatos rögzítése és minden riasztás jogosságának manuális ellenőrzése.

Statisztikai mutatók: Határozza meg a két csoport téves riasztási arányát, és kövesse nyomon az optimalizált algoritmus téves riasztási arányának százalékos csökkenését.

Várható eredmény: A rögzített küszöbhöz képest az optimalizált algoritmus téves riasztási arányának legalább 60%-kal kell csökkennie.

(2) Hibaszimulációs teszt (a válaszidő és a kihagyott riasztási arány megerősítése) Ismételje meg a tesztet háromszor minden csoportnál úgy, hogy manuálisan szimulál három tipikus ipari érzékelőhibát:

Táblázat: Szimulált hibatípus-szimulációs technika Pillanatnyi nulla-ponteltolódás-ellenőrző jelzők Adjon hozzá egy pillanatnyi 0,1%-os FS-eltolást az érzékelők egyik kimenetéhez, majd egy másodperc múlva helyreáll. Ellenőrizze, hogy van-e téves riasztás (általában nem szabadna lennie). Állandó lassú öregedés Minden nap adjon hozzá 0,01% FS eltolást egy érzékelő kimenetéhez, ami 0,1% FS-t ad hozzá. Ellenőrizze az elmulasztott riasztásokat és az időszerű riasztásokat. Step Drift: Folyamatosan eltolja az egyik érzékelő kimenetét 0,2% FS-sel. Ellenőrizze, hogy időben felfedezhető-e és a riasztási válasz késleltetése. Elfogadási szabványok: Az optimalizált algoritmus az esetek 100%-ában észleli az összes folyamatos problémát, mivel nincsenek kihagyott riasztások, tíz másodpercnél rövidebb válaszkésleltetések és téves riasztások jelennek meg az azonnali interferencia miatt.

(3) Hosszú-távú öregedési alkalmazkodóképességi teszt (hosszú-távú stabilitás ellenőrzése) Tesztmódszer: Havonta egyszer számítsa ki a téves riasztások arányát, és futtassa folyamatosan három hónapig a paraméterek manuális beállítása nélkül. Statisztikai mutató: Határozza meg, mennyit változott a téves riasztások aránya három hónap alatt. Elfogadási kritériumok: A rögzített küszöbű algoritmus változási aránya általában meghaladja az 5%-ot, míg az adaptív frissítésekkel optimalizált algoritmus téves riasztási arányának változási aránya 2%-nál kisebb vagy azzal egyenlő.

 

4. Adatstatisztika és az eredmények meghatározása

A kísérletet követően a következő irányelveket alkalmaztuk az adatok összegyűjtésére és a teljesítmény értékelésére:

Prioritást élvező alapvető indikátorok: Az optimalizált algoritmus teljesítménye akkor tekinthető jobbnak, ha téves riasztási aránya kisebb vagy egyenlő, mint 5%, ami nagyobb vagy egyenlő 60%-kal alacsonyabb, mint a kontrollcsoporté, és ha téves riasztási aránya kisebb vagy egyenlő, mint 1%.

Hosszú távú stabilitásellenőrzés: Az adaptív mechanizmus akkor hatékony, és hosszú távon jobban teljesít, mint a kontrollcsoport, ha a téves riasztások arányának ingadozása három hónap után kevesebb, mint 2%.

Mérnöki gyakorlati kiegészítés: A hibakeresési idő és a karbantartás gyakoriságának statisztikai vizsgálata; a jobb gyakorlatiasságot a karbantartási gyakoriság legalább 30%-os csökkenése mutatja az optimalizálás után.

Óvintézkedések a kísérletekhez

Kerülje az algoritmus és a hardver egyidejű megváltoztatását. A megállapítások kétértelműek lesznek, ha az algoritmus az egyetlen változó.

Annak érdekében, hogy elegendő gyártási ciklust lefedjen ahhoz, hogy az adatok statisztikailag szignifikánsak legyenek, a tesztelési időszak ne legyen túl rövid,-legalább egy-két hétnek kell lennie.

Minden riasztást kézzel kell ellenőrizni. A statisztikai torzítás elkerülése érdekében az algoritmus riasztásait nem szabad tényleges adatoknak tekinteni.