BC HAJDU Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi

  • BC HAJDU 7. konzultacia utorok 29.12.2020 18.00-19.00
    ULOHY:

    AGENDA:
    1. Stefan zaslal pracu k BCP1 [1] a clanok [2]

    [1] c:\Users\Juraj\Downloads\201202 AGENDA FIIT Vedenie zaverecnych prac\BC HAJDU\BCP1_Štefan_Hajdú.docx
    [2] c:\Users\Juraj\Downloads\201202 AGENDA FIIT Vedenie zaverecnych prac\BC HAJDU\Effective traffic lights recog-.pdf

    PRACA:
    — veduci prace je dr. JELEMENSKA (Doc. RNDr. Pancik je odborny konzultant)
    — odkazovanie na zdroje zmenit na ISO690 prvy prvok a datum – na SK vysokych skolach je to povinne
    — doplnit do 3.2 a 3.3 co tam bude

    — podla [1] by tam mala byt kapitola X.ZHODNOTENIE . Tam dat vlastnymi slovami co som doteraz urobil, co by som chcel urobit a co by malo byt mojim prinosom prace. Pokojne sa to moze zopakovat to co je v kap.3 V texte co by som chcel urobit treba prejst zadanie vetu po vete a malo by sa to v tom objavit ? Zadanie prechadzaju vseci.

    — Musia tam byt explictne uvedene vybral som metodu, realizoval na PC a portoval na Raspi (musi to byt v uvode, zhodnoteni). Zhodnotenei = odpocet naplnenia zadania – ked sa konci praca alebo pise sa priebezny stav prace. Zadanie Bcp je zmluva o dielo – v zhodnoteni sa urobi odpocet zmluvy o dielo.

    — tema je velmi siroka a to, ze sme si vybrali spolu s veducim prace doc. Pancikom – traffic lights zuzuje tuto siroku temu.

     

    BC HAJDU 6. konzultacia piatok 11.12.2020 18.00-19.00

    PRACA:
    1. Prechadzame zaslanu pracu – musi byt formalna stranka robena hned od zaciatku
    2. Presunut podkapitoly 1.1-1.3 do kap.2 (analyza)

     

  • plan BC HAJDU 6. konzultacia piatok 11.12.2020 18.00-19.00 BC HAJDU 5. konzultacia piatok 27.11.2020 18.00-19.00
    ULOHY:
    — odporucam zacat pisat spravu k BcP – cca 10 stran nakolko termin odovzdania je jasny 4.januar
    — odporucam vytvorit obsah prace z navrhnutej struktury prace („zmergovat“ moj navrh a navrh Stefana zaslany emailom – vid dole)
    — prazdne kapitoly budu obsahovat co tam bude este doplnene a odkazy na zdroje vo Worde
    — zamerat sa pri pisani na kapitolu „Analýza problému“ a „Návrh riešenia“ – pozor ! nic sa nemusi urobit
    — silno odporucam vytvorit aj zoznam literatury vo Worde zo spomenutych odkazov
    — nezabudnut, ze:
    — obsah podla [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862]
    — forma poda [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]
    — to co ma byt v Bakalarsky projekt I [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp1.html?page_id=1863] q
    — hodnotenie toho co napiste v Bakalarsky projekt I bude podla v Bakalarsky projekt II [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp2.html?page_id=3016 ]

    AGENDA:
    — prikladam 201127 BC HAJDU Navrh obsahu a rozsahu.docx a prikladam do emailu aj vzorovu BcP kde sa WORD vyucil na tvorbu obsahu, odkazy na literaturne zdroje a praca so zoznamom zdrojov vo Worde (BP_Danica_Polakova_05.docx)
    PRACA:
    — urobili sme navrh obsahu a rozsahu – posielam ho emailom
    — Mozne metody spracovania obrazu:
    — 1. METODA: je tu potreba vyuzitia machine learning (ML) a klasifikatora pre rozpoznanie semaforov v OpenCV (je to sucast zadania BcP) –> zaberie to cas (t.j.sada fotiek)
    — 2. METODA: dalej je tu moznost pouzitia template matchingu (TM) v OpenCV (netreba mat natrenovanu mnozinu)
    — 3. METODA: spracovanie farieb
    — OpenCV je perfektne na toto –> odporucam v analytickej casti popisat vsetky metody a potom si vybrat jednu a odskusat ju na PC a potom na Raspi3 s kamerou. Nasledne v diskusii uviest, ze v dalsom by sa dalo pokracovat
    — existuju testovacie sady fotiek semaforov (10GB) urcene pre testovanie kameroveho systemu- BOSCH a HUNDAY –> treba sa pokusit ist metodou ML. Aj otestovanie testovacej sady by bolo prinosom prace.
    — STEFAN poslal navrh obsahu:
    KAPITOLA 1:
    ++ Úvod
    ++ Opísať všeobecne Opencv
    ++ Opísať všeobecne Computer Vision
    ++ Opísať využitie CV v driver assistant systems(DAS) a jeho prínosu pre vodičov
    KAPITOLA 2:
    ++ opísať výzvy aký treba čeliť pri rozpoznávaní semafórov(TLR) v dôrazom na CV
    ++ opísať aktuálne používané metódy na TLR, metódy založené na machine learningu, model matchingu
    ++ opísať zvolený algoritmus pre zadanie BC, ako sa bude riešiť detekcia a ako rozoznanie farby
    ++ podrobnejšie opísať proces detekcie s opisom použitých funkcií z opencv
    ++ podrobnejšie opísať proces rozpoznania farby s opisom vhodných funkcií z opencv
    ++ opísať metódu overenia
    — hodnotenie je v Bakalarsky projekt II [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp2.html?page_id=3016 ]
    Analýza problému 20 % Sú informácie v analýze vecné, presné a úplné? Je problém správne zaradený do kontextu súčasného stavu poznania (podľa typu projektu)?
    Návrh riešenia 30 % Aká je miera tvorivosti preukázanej študentom v návrhu riešenia? Je navrhnuté riešenie v súlade so známymi prístupmi a metódami v príslušnej oblasti? Má prijateľnú úrovne abstrakcie v rámci návrhu riešenia? Sú použité známe techniky pri dokumentovaní návrhu riešenia? Zhodujú sa uvádzané údaje so skutočnosťou (napr. vzhľadom na vytvorený realizačný výstup, ak to zadanie požaduje)?

  •  BC HAJDU 4. konzultacia piatok 13.11.2020 18.00-19.00
    AGENDA:
    — termin odovzdania BcP.1 je 4.januar 2020
    — formalne clenenie BcP1 [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]PROJEKT:
    — presli sme si email komunikaciu – vid.www stranka kde sa formuluje zadanie na algoritmus LITRAC [PRILOHA]
    — navrhujem dvojake overenie algoritmu LITRAC (OpenCV na PC/RAspi3 )– ako napisat sprievodnu spravu k BcP.1. – musi byt forma Bc. Prace
    — obsah podla [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862]
    — forma poda [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]by malo ist o tieto kapitoly
    — navrh obsahu sprievodnu spravu k BcP.1.:
    — 1. kap. : Uvod (co predmetom prace, co je cielom a potom popisat jednotlive kapitoly spravy)
    — 2. kap. : teoria co tam ma byt „Analýza problému Táto časť bakalárskeho projektu má:
    — poskytovať obraz o stave riešenia daného problému známeho z preštudovanej literatúry (nielen informácie z prednášok, prípadne skrípt a katalógov),
    — porovnanie podobných riešení, ich kategorizáciu s uvedením charakteristických atribútov atď., podľa charakteru bakalárskeho projektu
    — zdôvodnenie voľby spôsobu riešenia a stručný opis celkového spôsobu riešenia (napr. v opise sa treba sústrediť na prípadné modifikácie použitých štandardných metodík a ich zdôvodnenie z hľadiska splnenia cieľov projektu)“
    — NAS NAVRH 2. KAPITOLY :
    — 2.1 Fyzika farieb Teoreticke vymedzenie pojmov z oblasti optiky, snimania a rozpoznavania farieb
    — svetelne spektrum, co je farba, kvantifikacia farieb v technike — nadviazat tuto teoriu na pojmy v OpenCV – vydedukovat co by tam malo byt z hladiska fyziky farieb
    — metody snimania a reprodukcie farieb, ako funguje farebna kamera a ako farby reprodukuju a ako sa meraju farby
    — 2.2 Interpretacie a spracovanie informacii o farbe v OpenCV
    — popisat funkcie v OpenCV urcene na spracovanie farieb
    — popisat funkcie na snimanie obrazu
    — 2.3 Opis snimacieho systemu na detekciu a rozpoznavanie farieb
    — opisat Raspi3 a kamery a snimacieho cipu CCD kde je popis snimania farieb
    — 2.4 Stav riešenia algoritmov detekcie a rozpoznavania farieb v obraze
    — popisat algoritmy rozpoznavania farieb na zaklade popisu konkretnych pripadov pouzitia (napr. detekcia zrelosti ovocia )
    — spomenut na com bezalo – resp. spomenut napr. to co robi OpenCV, alebo ine vypoctove platformy
    — nezabudnut dopravne aplikacie na detekciu a rozpoznanie farieb semaforov [1][2] –> TO NAS VZOR
    — 3. kap.: Navrh systemu na rozpoznanie farieb na semaforoch v realnej doprave
    — Popis a navrh spôsobu riešenia a stručný opis celkového spôsobu riešenia
    — popise sa system na objektivnu kontrolu vodicov v MHD v zmysle rozpoznavania farieb na smaforoch
    — kreslit blokove schemy a vyvojove diagramy– 3.1. Popis systemu na rozpoznanie farieb na semaforoch v realnej doprave
    — ucel systemu – objektivna kontrola vodicov MHD
    — navrh systemu na zaklade napr. [1][2]

    — 3.2 Navrh riesenia systemu
    — sw modul detekcia a rozpoznavanie semaforov v obraze
    — detekcia a rozpoznavanie farieb na semafore
    — detekcia: deteguje demafor v oraze
    — rozpoznanie: rozpozna semafor v obraze
    — modul vyhodnotenia – ten zastavi elektricku

    — 3.3 Navrh riesenia sw modulu detekcia a rozpoznavanie farieb na semafore
    — popis NAVRHU samotneho algoritmu LITRAC

    — 3.4 Navrh sposobu overenia
    3.4.1 Overenie mna platforme PC
    — Overenie algoritmu LITRAC by sa urobilo na PC v OpenCV na statickej scene (mimo auta), v sw pouzivatel zada mysou obrysy semaforu a LITRAC zobrazi vedla semaforu rozpoznanu hodnotu.
    — 3.4.2 Overenie na platforme Raspi3
    Obdobne by sa overovalo na Raspi OpenCV – to uz nejak vymyslime ako.- asi snomanie fixneho modelu semaforu

    — kap.4. ZHODNOTENIE
    — par riadkov …

    — LITERATURA

    — neskor BcP. 2 :“ Opis riešenia Táto časť bakalárskeho projektu obsahuje opis výsledkov riešenia jednotlivých etáp projektu. V prípade, že záverečný projekt nerieši všetky etapy, malo by byť v príslušnej časti uvedené kto, resp. kde sa príslušná etapa rieši/riešila/bude riešiť.
    Typické etapy riešenia pri tvorbe softvérového systému:
    — špecifikácia požiadaviek
    — návrh
    — implementácia (ak to zadanie požaduje)
    — overenie riešenia“

     

    FOLLOW UP 9.11.2020 Namet na konkretnu algoritmicku ulohu a navrh jej riesenia – email konzulatcia 

Informacny system si  predstavujem tak, ze kamera zosnima scenu pred sebou (napriklad krizovatku),  rozpoznavaci algoritmus rozpozna semafory na scene a dalsi algoritmus urci farby na nich. Niekto iny vyvinie algoritmus rozpoznavania semaforov na scene. Vy budete mat zadanie BcP zjednodusene.  Vasou ulohou je vyvinut algoritmus Real-Time Light Traffic Color detector  (LITRAC) rozpoznania farieb – algoritmus LITRAC na vstupe dostane suradnice semaforu, v obraze vyhlada na ich zaklade semafor,  priradi farby a na vystupe da informaciu (cervena, oranzova, zelena, blikajuca oranzova…). Dalsou Vasou ulohou je implementovat vyvinuty LITRAC algoritmus v OpenCV beziacom na raspi3.  Overenie algoritmu LITRAC by sa urobilo na PC v OpenCV na statickej scene  (mimo auta), v sw pouzivatel zada mysou obrysy semaforu a LITRAC zobrazi vedla semaforu rozpoznanu hodnotu. Obdobne by sa overovalo na Raspi  OpenCV – to uz nejak vymyslime ako.    Pripajam dve prace – jednu dipomovku [1] a jeden clanok [2].  Nasiel som to na googli (key words : „matlab traffic light recognition“). Diplomovka sa dost venuje algoritmom rozpoznavania farieb.
  • FOLLOW UP 5.11.2020 Namet na konkretnu algoritmicku ulohu a navrh jej riesenia 
  • — je to namet zapadajuci do zadania BcP a aj jeho riesenie je v kontexte vyucby
  • — islo by o ulohu objektivnej kontroly vodicov (napr. hromadnej dopravy) a to v oblasti vizualnej rozpoznania stavu semafora
  • —  vyvoj a overenie algoritmov rozpoznávania semaforu vo videu  by sa robilo na platforme  MATLAB-u & Raspi3 & Kamera  (MATLAB velmi dobre podporuje HW Raspi a kameru)
  • — po overeni algoritmov v MATLAB-e by sa overili vybrane casti retazca spracovania (obrazu) v OpenCV na PC resp OpenCV na Raspi3
  • — vyhodou tohto riesenia je rychlejsie napredovanie a dosiahnutie ciela
  • — s MATLAB-om sa robi dobre lebo obsahuje mnozstvo knzinic a ma vyboru podporu, je to uznavana platforma aj v priemysle a naucit sa robit s nim je dobry „skill“ a referencia
  •  BC HAJDU 3. konzultacia piatok 30.10.2020 18.00-19.00
    DISKUSIA:
    — Stefan pracuje OpenCV v Pythone na PC platforme v ASW farebnom priestore
    — planuje sa venovat farebnym  histogramom
    — odporucam experimenty s PC kamerkou – bude but zabudovana alebo externa
    — namet: BOSCH pouziva na orientaciu robotov vo vyrobe v zltom svetle , preskumat ci niekto nevyuziva znacky nalepene na scene a specialne prisvetlenie (je tu moznost kontextovej orientacie – pre kazdu situaciu sa zvoli specialna farba  prisvetlenia — ide specificke vyuzitie pri kontrole farieb
    — namet na studium projekt s Raspi a kamerkou – mali by tam byt aj informacie o geometrickych uvahach pri pouziti kamery:    https://wiki.stereopi.com/index.php?title=Main_Page
  • — diskutujeme co je Lidar v systeme ADAS : JuPa vysvetluje preco musi byt pouzite intenzivne svetlo lasera, rozmietane laseroveho luca po scene skenerom (na objektive kamery je potom uzkopasmovy farebny filter)
  • — diskutujeme o inteligentnej kamere, ktora sluzila na objektivnu kontrolu vodicov v doprave. Napriklad:  elektricky v mestach prechadzaju na cervenu a tento system im mal v tom zabranit.   –> NEW:   nametom sw BcP projektu by mohol byt aj toto – t.j. system Raspi s OpenCV najde semafor a rozpozna farbu. Nas projekt teda nebude len o farbach,  ale aj o rozpoznani semaforu na scene….   
  • ULOHY:
    1.ULOHA – ongoing: overit verziu Raspi3 a najst vhodnu verziu OpenCV
    2.ULOHA – ongoing: preskumat dostupnosti a nakupu vhodneho zdroja LED svetla s moznostou menit farbu
    3.ULOHA – studium OpenCV s cielom spracovanie farieb konkretnych snimkov a videi
    4.ULOHA – hladanie nametov pre BcP na Internete na aplikacie spracovania farieb v doprave a pripadne v antikoliznych systemoch — jednym z nametov pre projekt BcP  by mohla byt aj spominana objektivna  kontrola farieb semaforu
    5.ULOHA – JuPa: Metodika popisu vystupov SW projektu pre BcP (napr. plan projektu, specifikacia poziadaviek, metodika overenia … vid. popis Bcp )BC HAJDU 2. konzultacia piatok 16.10.2020 18.00-19.00
    AGENDA:
    — prechadzame charakter a povinne zlozky bc prace [1].
    — Bc praca je vlastne sprievodna sprava k vytvorenemu sw –> vychadza sa z „V“ modelu
    — dava na zvazenie napisat a objait pracu v anglictine
    — v pojmoch a postupu vyjdeme z „V“ modelu standardu ASPICE, casovy plan projektu urobime pomocou Gantovho diagramu
    ULOHA JuPa: vytvorit hruby nacrt obsahu do 2.urovne na zaklade [1], detailnejsi obsah sa vytvori po ustaleni zadania softveru
    — prosim komunikovat len cez gmail kde som online – nie odkazy na SKYPE (juPa tam nechodi)
    — odporucam pisat bcp v AJ
    [1]https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862PROJEKT:
    — najdolezitejsie v image processingu nasnimanych scen je nakoniec svetlo (biele alebo farebne, intenzita, …)
    — APLIKACIA: hovorime o vyzname kontroly farby pri kvalite vyrobkov
    — TEORIA: diskutujeme o sposobe overenia algoritmov,
    — TEORIA: bavime o farebnej teplote zdroja,
    — Stefan referuje o postupe studia: chodi mu OpenCV na PC a planuje prejst na Raspi3 (ULOHA: overit verziu Raspi3 a vhodnu verziu OpenCV)
    — ULOHA: preskumat dostupnosti a nakupu vhodneho zdroja LED svetla s moznostou menit farbu
    — praktice pouzitie: na baze aktivnej zmeny farby svetla je mozne vytvorit specialne znacky pre antikolizne systemy (umele sceny s umelym osvetlenim).
    — nahrada farebneho filtra v objektive kamery pomocou privetlenia sceny s vybranou vlnovou dlzkou.
    — efekt aktivnej zmeny farby svetla pre algoritmus: rychlejsi algoritmu nakolko sa bude vyhodnocovat len jas sceny
    — OVERENIE ALGORITMOV v BcP:
    — kyvadlo, ktore bude sluzit pre vytvorenie prekazok – pohybujuci sa objekte na baze kyvadla
    — tociace sa kolesa s farebnymi vysecamiULOHA DO BUDUCEJ KONZULATCIE:
    — JuPa vysvetlit : ako snima kamera v Raspi3 – geometricke uvahy, SH studium OpenCV pre PC a RASPI3
  • plan BC HAJDU 2. konzultacia piatok 16.10.2020 18.00-19.00
  • BC HAJDU 1. konzultacia piatok 2.10.2020 18.00-19.00
    AGENDA:
    — formalna stranka prace vyjde zo smernice FIIT ako pisat zav. prace – ULOHA SH: najst smernicu
    — ULOHA SH: zohnat template Bc prace – aky je minimalne potrebny pocet stran BcP ? UNIZA ma do 40 stran
    — pohladat vzory BcP zameranych na spracovanie obrazu, OpenCV a Raspi3 – ULOHA J.P.: pozriet sa po adrese centralneho registra zaverecnych prac ODPOVED: https://crzp.cvtisr.sk/
    — obsah a rozsah prace:
    — teoreticka cast okolo antikoliznych systemov ta by mohla mat 25 stran, vymedzenie zakladnych pojmov z nazvu „Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi“
    — teoreticka cast by mohla byt napisana do konca januara – optimalne do Vianoc
    — pisanie prace pojde sekvencnym sposobom
    — ULOHA JP : Navrh – nacrt – obsahu prace do prvej urovne
    — Plan:  bolo by dobre do Vianoc zvladnut Raspi a OpenCV s Pythonom a napisat cast teorie
  • Diskusia:
  • — Stefan uvazuje o vyuziti detekcie farieb pre pouzitie v antikoliznom systeme, vid.  https://www.cs.cmu.edu/~illah/PAPERS/abod.pdf
  • Zadanie BC projektu:
    [adresar iMac …\200806 AGENDA FIIT Navrh tem bakalarskych projektov\200809_navrh_BP_PANCIK_3.docx]
  • Bakalársky projekt
    1 Typ Bakalársky projekt
  • 2 Rok 2020/2021
  • 3 Vedúci projektu doc. RNDr. Juraj Pančík, PhD.
  • 4 Názov projektu v SJ Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi
  • 5 Študijný programInformatika
  • 6 Plánovaný počet 2 študenti
  • 7 Text zadania
  • Predmet bakalárskej práce – motivácia :
    Predmetom bakalárskej práce je realizácia algoritmov spracovania obrazu implementovaných v knižnici OpenCV. Algoritmy budú pracovať v reálnom čase vo vnorenom zariadení na báze populárneho mikropočítača Raspberry Pi. Práca sa bude venovať spracovávaním obrazu z kamery za účelom detekcie a vyhnutiu sa prekážkam. Knižnica OpenCV je v súčasnosti priemyselný štandard a má široké využitie.
  • Analýza : Analyzujte vybrané algoritmy pre detekciu prekážok v doprave. Pokiaľ to bude účelné použite aj výpočtové prostredie MATLAB.
  • Návrh a implementácia:Navrhnite a realizujte vybrané algoritmy na báze jazyka Python a knižnice OpenCV a to na PC platforme a aj na platforme Raspberry Pi.
  • Spôsob overenia riešenia: Overte riešenie v reálnom čase s kamerou a/alebo s nasnímanými reálnymi videami z dopravy
  • 8 Poznámka pre študenta
    Študenti postavia experimenty na hotových hardvérových a softvérových prvkoch. Vyžaduje sa absolvovanie základného kurzu jazyka C/C++ a dobre by bolo mať skúsenosti s platformou Raspberry PI (nie je to však nutné). Hardvér je k dispozícii a vedúci projektu má praktické skúsenosti so všetkými uvedenými technológiami – študentov uvedie a zaučí do nich. K dispozícii sú výborné informačné zdroje.