BC SETNICKY Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi

 plan BC SETNICKY  5.konzultacia sobota 28.11.2020 19,00-20,00(1h)

BC SETNICKY 4.konzultacia sobota 14.11.2020 19,00-20,00(1h)
AGENDA:
— termin odovzdania BcP.1 je 4.januar 2020
— formalne clenenie BcP1 [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]
PROJEKT:
— ako napisat sprievodnu spravu k BcP.1. – musi byt forma Bc. Prace
— obsah podla [https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862]
— forma poda [https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf]by malo ist o tieto kapitoly
— navrh obsahu sprievodnu spravu k BcP.1.:
— 1. kap. : Uvod (co predmetom prace, co je cielom a potom popisat jednotlive kapitoly spravy)
— 2. kap. : teoria co tam ma byt „Analýza problému Táto časť bakalárskeho projektu má:
— poskytovať obraz o stave riešenia daného problému známeho z preštudovanej literatúry (nielen informácie z prednášok, prípadne skrípt a katalógov),
— porovnanie podobných riešení, ich kategorizáciu s uvedením charakteristických atribútov atď., podľa charakteru bakalárskeho projektu
— zdôvodnenie voľby spôsobu riešenia a stručný opis celkového spôsobu riešenia (napr. v opise sa treba sústrediť na prípadné modifikácie použitých štandardných metodík a ich zdôvodnenie z hľadiska splnenia cieľov projektu)“
— NAS NAVRH 2. KAPITOLY :
— 2.1 Principy stereovidenia – Teoreticke vymedzenie pojmov z predmetnej
— nadviazat tuto teoriu na pojmy v OpenCV – vydedukovat co by tam malo byt z hladiska popisu principov
— metody stereo snimania , ako funguje stereo kamera
— 2.2 Stereovidenie v OpenCV – interpretacie a spracovanie informacii
— popisat funkcie v OpenCV pouzitelne na stereovidenie
— popisat funkcie na snimanie obrazu …. nejake dalsie uzitocne funkcie
— 2.3 Stav riešenia algoritmov streovidenia
— popisat algoritmy na popise konkretnych pripadov pouzitia
— spomenut na com bezalo – resp. spomenut napr. to co robi OpenCV, alebo ine vypoctove platformy
— nezabudnut dopravne aplikacie – to sme nasli v resersi
— 2.4 Opis snimacieho systemu pre stereovidenie na baze Raspi3
— opisat Raspi3 a kamery a snimacieho cipu CCD kde je popis snimania farieb

— 3. kap.: Navrh snimacieho systemu pre sterovidenie v realnej doprave
— Popis a navrh spôsobu riešenia a stručný opis celkového spôsobu riešenia
— popise sa system ktory by sa dal na celne sklo – vid vzor
— kreslit blokove schemy a vyvojove diagramy
— 3.1. Popis systemu a navrh poziadaviek na system
— navrh systemu na zaklade vzoru napr.
— 3.2 Navrh riesenia systemu na baze Raspi3

— 3.3 Navrh algorimov v prostredi MATLAB
— keby sa robilo tak sa to zacne v MATLABE
— 3.4 Navrh sposobu overenia

— kap.4. ZHODNOTENIE
— par riadkov …
— LITERATURA

 BC SETNICKY 3.konzultacia streda 4.11.2020 19,00-20,00(1h)

AGENDA:
— zapocet za zimu by mohol byt za navrh obsahu a rozsahu Bc prace (projektu)

PROJEKT:
— Jakub si nainstaloval OpenCV na PC a v Raspi3 overil snimanie
— hovorime o resersi a jednom zdroji v nej [1] a tam je odkaz na algoritmus a OpenCV [2]
— [3] hovori o presnosti do 100m
— Jakub hovori o moznosti urobit vlastnu mechaniku na baze Al s moznostami nastavit kameru pocas jej kalibracie
— JuPa navrhuje realizovat vyvoj algoritmov na baze MATLAB-u s tym, ze sa kamery a Raspi3 pouziju „len“ ako zdroje RAW snimkov pre ich dalsie spracovanie v MATLAB-e. V MATLAB-e by sa overili algoritmov urcene pre sterovidenie a niekore by sa potom mohli preportovat do OpenCV resp. navrhla by sa ich portacia (vymedzili by sa funkcie z OpenCV).
— Portacia vybranych algoritmov MATLAB –> OpenCV bude druhy krok
— Prinosom prace moze byt aj to ako nahradit MATLAB v konkretnej aplikacii
— MATLAB zdroje napr.[4][5][6]
— nova kamerka Raspi HQ [7]
— Stefan mi poslal nim najdene clanky okolo stereovision [8][9]

ULOHA:
— Rozchodit MATLAB & Raspi3 & kamerka

[1] https://www.zmp.co.jp/en/products/sensor/robovision/robovision2s
[2] https://www.zmp.co.jp/en/knowledge/adas_dev/adas_sensor/adas_camera/adas_stereo
[3] https://www.vision-systems.com/unmanned/article/16748283/cornell-university-study-suggests-stereo-camera-systems-could-replace-lidar
[4] https://www.mathworks.com/help/supportpkg/raspberrypiio/examples/working-with-raspberry-pi-camera-board.html
[5] https://www.mathworks.com/help/vision/ug/depth-estimation-from-stereo-video.html
[6] https://iopscience.iop.org/article/10.1088/1755-1315/252/5/052051/pdf
[7] https://www.raspberrypi.org/documentation/hardware/camera/
[8] c:\Users\Juraj\Downloads\201019 BC SETNICKY\STEREO_VISION_APPLYING_OPENCV_AND_RASPBERRY_PI.pdf
[9] c:\Users\Juraj\Downloads\201019 BC SETNICKY\ScienceDirect_articles_02Nov2020_13-25-20.397.zip

Follow up STUDIUM 

  1. (13) (PDF) STEREO VISION APPLYING OPENCV AND RASPBERRY PIStereoPi | StereoPi – DIY stereoscopic camera based on Raspberry Pi
  2. StereoPi WikiCornell University study suggests stereo camera systems could replace LiDAR |
  3. Vision Systems Design
  4. Stereo camera use case for automotive with „Stereo Vision IP Suite.“ – FSI Embedded (English)
  5. Correcting Decalibration of Stereo Cameras in Self-Driving Vehicles[2001.05267]
  6. Hitachi Automotive Systems stereo camera adopted in Suzuki’s EVERY light commercial vehicle and EVERY WAGON light passenger vehicle
  7. Hitachi Automotive Systems Develops Stereo Camera Enabling Automatic Emergency Braking at Intersections
  8. Ultra-high sensitivity stereo camera system RoboVision2sCorrecting Decalibration of Stereo Cameras in Self-Driving Vehicles
  9. TransportEye – Corephotonics

 

BC SETNICKY 2.konzultacia 19.10.2020 19,00-20,00(1h)
AGENDA:
— prechadzame charakter a povinne zlozky bc prace [1].
— Bc praca je vlastne sprievodna sprava k vytvorenemu sw –> vychadza sa z „V“ modelu
— na zvazenie napisat a obhajit pracu v anglictine — ODPOVED: ANO
— v pojmoch a postupu vyjdeme z „V“ modelu standardu Automotive SPICE, casovy plan projektu urobime pomocou Gantovho diagramu — ODPOVED: ANO
ULOHA JuPa: vytvorit hruby nacrt obsahu do 2.urovne na zaklade [1], detailnejsi obsah sa vytvori po ustaleni zadania softveru
[1]https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862

PROJEKT:
— Posielam informacie o vzorovom projekte [1], v [1] je spominana stranka projektu [2].
— Priklaname sa k tomu aby sme sli tiez touto cestou architektura systemu – raspi3 + kamera spracuje obraz a vypocet urobi NTBK

ULOHA:
— Analyza vzoroveho projektu — vztahovat to na antikolizny system – zistit v akom rozsahu vzdialenosti je mozne stereovidenie
— resers antikoliznych systemov pre auta (https://en.wikipedia.org/wiki/Collision_avoidance_system) a to aj z pohladu stereovidenia

[1] https://www.researchgate.net/publication/337644693_STEREO_VISION_APPLYING_OPENCV_AND_RASPBERRY_PI
[2] https://wiki.stereopi.com/index.php?title=Main_Page

BC SETNICKY 1.konzultacia 5.10.2020 19,00-20,00(1h)
AGENDA:
— formalna stranka prace vyjde zo smernice FIIT ako pisat zav. prace – ULOHA: najst smernicu
ODPOVED:
https://www.fiit.stuba.sk/buxus/docs/organizacia_studia/pokyny/ZP-clenenie-pokyny.pdf
https://www.fiit.stuba.sk/studium/bakalarsky-projekt/bp.html?page_id=1862
— zohnat template Bc prace – aky je minimalne potrebny pocet stran BcP ? UNIZA ma do 40 stran
— pohladat vzory BcP zameranych na spracovanie obrazu, najlepsie na FIIT, OpenCV a Raspi3 – ULOHA J.P.: pozriet sa po adrese centralne registra ODPOVED: https://crzp.cvtisr.sk/
— obsah a rozsah prace:
— teoreticka cast okolo antikoliznych systemov ta by mohla mat 25 stran, vymedzenie zakladnych pojmov z nazvu „Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi“
— teoreticka cast by mohla byt napisana do konca januara – optimalne do Vianoc
— pisanie sekvencnym sposobom
— ULOHA J.P.: Navrh – nacrt – obsahu prace do prvej urovne
— ULOHA J.P.: Poslat 2.Raspi
— bolo by dobre zvladnut Raspi a OpenCV s Pythonom
DOSKUSIA :
— zamerat sa na stereovidenie pre potreby antikoliznych systemov
— knihy okolo OpenCV ULOHA JuPa upresnit o ktoru ide
— pozriet sa po materialoch pre OPROX Brno a dialkomer
— najblizssia uloha je rozchodit raspi a OpenCV na PC a na Raspi
— experiment moze byt postaveny na kyvadlach
— mozu sa nahrat videa z realneho auta 2 kamerami a to sa moze vyhodnotit
— postovne balicka bolo 6.90 Euro
— bavime sa synchronizacii kamier pomocou HW signalu

Zadanie BC projektu:
[iMac …\200806 AGENDA FIIT Navrh tem bakalarskych projektov\200809_navrh_BP_PANCIK_3.docx]

Bakalársky projekt
1 Typ Bakalársky projekt
2 Rok 2020/2021
3 Vedúci projektu doc. RNDr. Juraj Pančík, PhD.
4 Názov projektu v SJ Systém pre spracovanie obrazu pre antikolízne systémy na báze knižnice OpenCV a mikropočítača Raspberry Pi
5 Študijný program Informatika
6 Plánovaný počet 2 študenti
7 Text zadania
Predmet bakalárskej práce – motivácia :
Predmetom bakalárskej práce je realizácia algoritmov spracovania obrazu implementovaných v knižnici OpenCV. Algoritmy budú pracovať v reálnom čase vo vnorenom zariadení na báze populárneho mikropočítača Raspberry Pi. Práca sa bude venovať spracovávaním obrazu z kamery za účelom detekcie a vyhnutiu sa prekážkam. Knižnica OpenCV je v súčasnosti priemyselný štandard a má široké využitie.

Analýza
Analyzujte vybrané algoritmy pre detekciu prekážok v doprave. Pokiaľ to bude účelné použite aj výpočtové prostredie MATLAB.
Návrh a implementácia
Navrhnite a realizujte vybrané algoritmy na báze jazyka Python a knižnice OpenCV a to na PC platforme a aj na platforme Raspberry Pi.
Spôsob overenia riešenia
Overte riešenie v reálnom čase s kamerou a/alebo s nasnímanými reálnymi videami z dopravy
8 Poznámka pre študenta
Študenti postavia experimenty na hotových hardvérových a softvérových prvkoch. Vyžaduje sa absolvovanie základného kurzu jazyka C/C++ a dobre by bolo mať skúsenosti s platformou Raspberry PI (nie je to však nutné). Hardvér je k dispozícii a vedúci projektu má praktické skúsenosti so všetkými uvedenými technológiami – študentov uvedie a zaučí do nich. K dispozícii sú výborné informačné zdroje.