OPTITOUCH – multimedialny stół dotykowy w technologii optycznej. Innowacyjny projekt naukowców z Politechniki Białostockiej z firmą iMedia Joanna Sawicka.

– Nasze innowacyjne rozwiązanie multimedialnego stołu dotykowego OPTITOUCH opiera się niemal wyłącznie na wykorzystaniu promieniowania optycznego, głównie w zakresie tzw. „multidotyku”  – mówi dr hab. inż. Maciej Zajkowski, prof. PB. Naukowcy z Politechniki Białostockiej z firmą  iMedia Joanna Sawicka opracowali prototyp unikalnego i wielofunkcyjnego monitora dotykowego z niedostępną wcześniej funkcjonalnością.

Z artykułu dowiesz się:

– czym jest stół multimedialny OPTITOUCH

– do czego może służyć innowacyjny stół multimedialny

– na czym polega innowacyjność rozwiązań zastosowanych w OPTITOUCH

– jak doszło do współpracy Politechniki Białostockiej z firmą iMedia Joanna Sawicka

Monitory wielkoformatowe służą nie tylko do prezentacji wysokiej jakości obrazu, ale stanowią też uniwersalne narzędzia interaktywne. Dzięki różnorodnym technologiom dotyku łączonym z matrycami i panelami, użytkownicy otrzymują dużą płaszczyznę o różnorodnym przeznaczeniu. Od wprowadzania adnotacji, sterowania urządzeniami po wyświetlanie gier czy aplikacji, którymi można sterować dotykiem. Ograniczeniem jest przede wszystkim przekątna takiego ekranu.

 ZOBACZ GALERIĘ (5 zdjęć)

Innowacyjny charakter multimedialnego stołu dotykowego w technologii optycznej  OPTITOUCH

– Rozwiązania istniejące dotychczasowo, czy to pojemnościowe, czy rezystancyjne przestają działać, czy przestają być opłacalne gdzieś powyżej 40 cali – podkreśla dr inż. Piotr Kardasz z Laboratorium Komputerowego Wydziału Elektrycznego Politechniki Białostockiej. – Rozwiązania dla takich dużych ekranów po prostu nie istnieją.

Dlatego naukowcy z Politechniki Białostockiej musieli wykorzystać zupełnie inne rozwiązanie. I tak narodziła się idea stołu multimedialnego optycznego.

– Zbudowaliśmy od podstaw cały rozwiązanie, które bazuje wyłącznie na optyce, czyli wykorzystuje szerokie spektrum promieniowania, w tym podczerwień do analizy dotyku – wyjaśnia dr hab. inż. Maciej Zajkowski, prof. PB, Elektrycznego Politechniki Białostockiej. – Rozkład luminancji na wyświetlaczu, czyli to co na nim widać, jest efektem opracowanego przez nasz zespół dedykowanego oświetlenia ledowego, o bardzo dużej wierności barw i możliwości sterowania podświetleniem matrycy LCD. Staraliśmy się, żeby było ono efektywne energetycznie, czyli żeby pobierało minimalną ilość energii w porównaniu do rozwiązań konwencjonalnych. Nasze rozwiązanie cechuje się innowacją opierającą się na niemal wyłącznie optycznej analizie, tego co się na stole multimedialnym dzieje.

– Rozwiązanie z szerokokątnymi kamerami CCD ma przede wszystkim taką zaletę, że jest modułowe – wyjaśnia dr inż. Kardasz. – Jeżeli mamy większy ekran, wstawiamy większą liczbę takich modułów i możemy się dopasować do każdej wielkości ekranu, nie jesteśmy ograniczeni rozmiarem. Panele mogą być w tym momencie dużo większe niż wspomniane 40 cali.

–  Możemy budować stoły czy budować wyświetlacze na bazie naszego rozwiązania o nieograniczonym rozmiarze – dodaje dr hab. inż. Maciej Zajkowski. – Jesteśmy w stanie zaproponować ponad 40 punktów dotykowych, co jest praktycznie albo nieosiągalne albo trudno osiągalne w konwencjonalnych rozwiązaniach bazujących na przykład na dotyku pojemnościowym.

Do czego może służyć  multimedialny stół dotykowy w technologii optycznej  OPTITOUCH?

Multimedialny stół dotykowy w technologii optycznej OPTITOUCH można zastosować na przykład jako pomoc do jednoczesnej obserwacji ekranu, operowania dotykiem  i skanowania dokumentacji.

– Poprzez stół, czyli nie używając innych zewnętrznych urządzeń, tylko naszego stołu, ta dokumentacja wędruje później do komputera, który jest w stole i może być odtworzona, przekształcana, modyfikowana – wyjaśnia ideę prototypowego narzędzia dr hab. inż. Zajkowski. Ale to tylko jedna z funkcjonalności prototypu.

– Oprócz tego, że stół ma dedykowane pole pod funkcje skanowania, dodatkowo cały obszar stołu ma możliwość skanowania QR-kodów – dodaje mgr inż. Damian Tyniecki asystent z Katedry Elektroenergetyki, Fotoniki i Techniki Świetlnej Wydziału Elektrycznego Politechniki Białostockiej.

 ZOBACZ GALERIĘ (5 zdjęć)

W przypadku komercjalizacji prototypu może on być również wykorzystany na przykład jako wyświetlacz reklamowy w sklepie czy zakładzie gastronomicznym,  który pozwala na interakcję z klientem i można coś wybrać dotykiem.

Inne proponowane funkcjonalności:

– w placówkach medycznych: niezależne rozpoznawanie punktów dotyku przez każdy moduł pozwala np. na jednoczesną pracę ze stołem przez lekarza i pacjenta siedzących po przeciwnych jego stronach,

– w placówkach edukacyjnych: obsługa pisaków i tagów pozwala na tworzenie aplikacji edukacyjnych i gier planszowych,

– w biurach: stół dotykowy pozwala na obsługę interaktywnych formularzy, zaś wbudowany moduł skanera pozwala na skanowanie dokumentów papierowych.

Płaska, wykonana ze szkła powierzchnia stołu pozbawiona elementów aktywnych pozwala na bezproblemowe czyszczenie i sterylizację stołu.

Jak działa multimedialny stół dotykowy w technologii optycznej  OPTITOUCH?

Naukowcy zastosowali innowacyjną koncepcję ekranu dotykowego. Na dłuższych krawędziach szkła przykrywającego multimedialny stół dotykowy wprowadzili promieniowanie podczerwone, zaś sensorami podczerwieni stały się kamery cyfrowe o rozdzielczości powyżej 5MPx, współpracujące z systemem mikrokomputerowym Raspberry Pi. Kamery rejestrują obraz w podczerwieni, a analiza obrazu pozwala określić, w którym miejscu nastąpił dotyk do ekranu i jak jest silny. Kąt obserwacji kamer dobrali w taki sposób, aby pola widzenia sąsiednich kamer nakładały się.

– Zastosowaliśmy kamery szerokokątne ze względu na ograniczenie wysokości naszego stołu multimedialnego – opowiada dr inż. Kardasz. – Im szerszy kąt kamery, tym mniej modułów trzeba, żeby ten stół obsłużyć.

Eliminuje to występowanie martwych stref, w których detekcja dotyku na powierzchni stołu nie byłaby możliwa. Dodatkowo takie rozwiązanie pozwala na ograniczenie zniekształceń obrazu, występujących przy granicach pól obserwacji kamer. Dodatkowym atutem takiego rozwiązania jest możliwość rejestracji dowolnego obrazu, dekodowanie tagów czy kodów QR.

Kamery reagują na podczerwień, ale taką która nie zagraża człowiekowi.

– Nasze oko nie widzi tego promieniowania, dla użytkownika nie jest to uciążliwe – zaznacza dr inż. Łukasz Budzyński z Katedry Elektroenergetyki, Fotoniki i Techniki Świetlnej Wydziału Elektrycznego Politechniki Białostockiej. – Ta duża płaszczyzna stołu, dzięki podczerwieni, ma równomierną czułość w każdym miejscu. W przypadku rezystancyjnego wykrywania dotyku mogłoby to sprawiać trochę problemów użytkownikom.

– To jest podczerwień bliska światłu widzialnemu o długości fali 950 nanometrów – wyjaśnia dr inż Kardasz. – Przy 940 nanometrach, które tu wykorzystaliśmy, to jest troszeczkę dalej od światła widzialnego i wpływ światła dziennego na pracę stołu jest mniejszy. To promieniowanie podczerwone nie wydostaje się na zewnątrz, a przynajmniej znaczna większość. Jest ono wprowadzone do tafli szkła, która przeszlifowana leży na powierzchni stołu, żeby podczerwień mogła tam się dostać z podświetlaczy. Podczerwień poprzez zjawisko całkowitego odbicia zostaje w szkle, chyba że gdzieś go dotknę.

Czytaj także: Badania wytrzymałości udarowej paneli fotowoltaicznych na WE

Dotyk do szkła uruchamia funkcjonalności stołu.

– Kiedy dotykam do szkła, pojawia się obiekt, który nie jest powietrzem, nie ma całkowitego wewnętrznego odbicia, tylko jest rozproszenie podczerwieni na palcu – wyjaśnia dr inż. Kardasz.  – W punkcie widzenia kamery pojawia się w tym miejscu jasna plama. I teraz możemy dokładnie sprecyzować miejsce, gdzie jest ta plama na stole multimedialnym. Możemy określić jej jasność, szerokość i wysłać dane, że w tym miejscu ekran został dotknięty. Im większy nacisk, tym większa jest średnica tej jasnej plamy i jest ona jaśniejsza. Tych parametrów możemy użyć do określenia siły nacisku.

Trzeba jednak pamiętać, że z każdej kamery płynie bardzo duży strumień danych. Dlatego każda kamera współpracuje z systemem mikrokomputerowym Raspberry Pi.

–  Gdybym wprowadził do komputera strumień z tych 12 kamer, które są wewnątrz stołu, to mogłoby nie wystarczyć mocy obliczeniowej – przyznaje dr inż. Kardasz. – Każda kamera ma własny mikrokomputer Raspberry Pi, który analizuje dane i oblicza na ich podstawie, gdzie stół został dotknięty. Tak przetworzoną informację wysyła do komputera głównego przez zwykłą sieć typu Ethernet. I wtedy ten strumień jest dużo niższy.

Kolejnym problemem, jaki pojawił się przy zastosowaniu technologii wyłącznie optycznej były charakterystyki optyki kamer.

– Kamera szerokokątna, praktycznie rybie oko, ma bardzo duże zniekształcenia geometryczne – przypomina dr inż. Kardasz. – Zanim współrzędne punktu przekształcę do współrzędnych, które wysyłam do komputera, muszę te zniekształcenia zredukować. Wzory matematyczne do tej redukcji nie są może aż tak bardzo złożone, ale jest tam sporo trygonometrii. Parametry korekcji są liczone w komputerze zewnętrznym w czasie procedury kalibracji stołu i gotowa tablica z odpowiednimi parametrami jest zapisywana na kartę SD dla Raspberry Pi i wtedy, zamiast liczyć funkcje trygonometryczne w czasie rzeczywistym, mamy po prostu już odczyty gotowych wartości z tabeli, co jest znacznie szybsze.

Oprócz dotyku opuszkiem palca, z multimedialnym stołem dotykowym w technologii optycznej OPTITOUCH, można komunikować się poprzez aktywny wskaźnik podczerwieni.

– To  coś wyglądające jak długopis, ale zamiast tuszu, w tym miejscu gdzie normalnie jest kulka długopisu, mamy zastosowane diody świecące właśnie w bliskiej podczerwieni – wyjaśnia dr inż. Budzyński. – Dzięki temu użytkownik może operować po tym stole tak jak zwykłym wskaźnikiem, chociażby tak, jak w tabletach.

 ZOBACZ GALERIĘ (5 zdjęć)

Cały prototyp został też przebadany pod względem konstrukcyjno-wytrzymałościowym.

– Za konstrukcję stołu generalnie odpowiadała firma iMedia – opowiada mgr inż. Damian Tyniecki. – Przeprowadziła symulacje w oprogramowaniu SolidWorks takich elementów składowych jak rama nośna matrycy LCD, rama wspomagająca układu kamer i układu podświetlenia celem ich optymalizacji pod względem jakościowym i wytrzymałościowym z uwzględnieniem wyglądu gotowego produktu. My dawaliśmy wytyczne konstrukcyjne do stołu. Wskazywaliśmy, gdzie powinny być zastosowane odpowiednie podpory, żeby nie pękła matryca albo szkło. Dawaliśmy wskazówki konstrukcyjne, gdzie wymagamy podpór pod odpowiednie zabezpieczenie wytrzymałości konstrukcji.

Jak doszło do współpracy naukowców z Politechniki Białostockiej z firmą iMedia Joanna Sawicka?

– Współpracujemy z różnymi firmami i czasem firmy zwaracją się do nas z prośbą o pomoc w rozwiązaniu problemu, czy to za pośrednictwem Instytutu Transferu Technologii, czy poprzez Dział Nauki, czy poprzez nasze dziekanaty – wyjaśnia dr hab. inż. Maciej Zajkowski, prof. PB. – Współpracowaliśmy z firmą iMedia od jakiegoś czasu, wykonywaliśmy proste badania rozwiązań, które są przez nią produkowane.

W trakcie współpracy pojawił się pomysł, żeby sięgnąć po środki zewnętrzne, Regionalnego Programu Operacyjnego Województwa Podlaskiego. Do tego celu firmie był potrzebny pomysł i partner naukowy.

– Zaproponowaliśmy opracowanie innowacyjnego stołu multimedialnego, firma przemyślała ten pomysł i podjęliśmy decyzję, że możemy wspólnie podjąć się tego wyzwania – opowiada dr hab. inż. Zajkowski. – Przeanalizowaliśmy cały rynek na świecie, znaleźliśmy podobne rozwiązania, które realizował Microsoft, ale odstąpił od tego problemu, bo nie uwzględnił pewnych czynników, które myśmy zaobserwowali. Uznaliśmy, że mamy możliwości i mamy szansę na to, żeby to rozwiązanie powstało właśnie we współpracy nauki z przemysłem. Firma iMedia złożyła wniosek o dofinansowanie, a myśmy przygotowali bardzo dużą część merytoryczną do tego wniosku. Pozostaje już tylko kwestia realizacji poszczególnych etapów. Właśnie opracowaliśmy prototyp (16 lipca 2021 r.). Czekamy teraz na wdrożenie w szpitalu MSWiA w Białymstoku. Mamy zapewnienie, że będzie on testowany przez medyków i zobaczymy jaki będzie wynik.

To jeden z wielu projektów nad jakim pracują naukowcy z Wydziału Elektrycznego Politechniki Białostockiej.

– Realizujemy też w niezmienionym, ale w poszerzonym składzie, projekt finansowany z Narodowego Centrum Badań i Rozwoju – informuje dr hab. inż. Zajkowski. – Nabyte doświadczenie z projektem stołu multimedialnego przenieśliśmy do rozwiązania, które nazwaliśmy MedTab, właśnie w tym naszym dużym grancie. Potrzebowaliśmy tylko wsparcia kolegów informatyków z Wydziału Mechanicznego Politechniki Białostockiej oraz kilku kolegów z Wydziału Elektrycznego, żeby można było to rozwiązanie wcielić w życie. Jesteśmy po pół roku realizacji projektu, mamy wykonany model funkcjonalny, teraz czekamy na realizację prototypu i za dwa do trzech miesięcy wprowadzamy nasze rozwiązanie do szpitala do testowania już na żywym organizmie. Realizujemy też inne mniejsze projekty – są to bony na innowacje z firmami z całej Polski, cały czas tematyka oscyluje wokół kwestii dotyczących wykorzystania promieniowania optycznego,  budowy opraw oświetleniowych, wykorzystania podczerwieni, układów światłowodowych.

 ZOBACZ GALERIĘ (5 zdjęć)

Dr hab. inż. Maciej Zajkowski, prof. PB

  • Katedra Fotoniki, Elektroniki i Techniki Świetlnej Wydziału Elektrycznego Politechniki Białostockiej
  • ekspert w Narodowym Centrum Badań i Rozwoju
  • członek Prezydium Polskiego Komitetu Oświetleniowego SEP
  • konsultant w Narodowym Funduszu Ochrony Środowiska i Gospodarki Wodnej
  • doradca ds. OZE w Urzędzie Marszałkowskim woj. podlaskiego
  • autor ponad 140 publikacji, patentów, twórca produktów i rozwiązań komercyjnych

Mgr inż. Damian Tyniecki

  • Katedra Fotoniki, Elektroniki i Techniki Świetlnej Wydziału Elektrycznego Politechniki Białostockiej
  • Absolwent studiów inżynierskich i magisterskich kierunku Elektrotechnika na Politechnice Białostockiej
  • Uczestnik studiów III stopnia na kierunku Elektrotechnika na Politechnice Białostockiej
  • doradca ds. OZE w Centrum Energii Odnawialnej.

dr inż. Łukasz Budzyński

  • Katedra Fotoniki, Elektroniki i Techniki Świetlnej Wydziału Elektrycznego Politechniki Białostockiej
  • ekspert ds. OZE Urzędzie Marszałkowskim Województwa Podlaskiego
  • ekspert ds. OZE Urzędzie Marszałkowskim Województwa Warmińsko-Mazurskiego
  • autor ponad 25 publikacji, patentów, twórca produktów i rozwiązań komercyjnych

Dr inż. Piotr Kardasz

  • Katedra Automatyki i Robotyki, pracownik Laboratorium Komputerowego
  • członek Zespołu ds. Mediów Internetowych
  • specjalista w zakresie programowania mikrokontrolerów i procesorów
  • ekspert w zakresie technologii informacyjnych

 

 

Zobacz także: Dr Ewa Zapora – Ambasador nauki województwa podlaskiego na Expo 2020 w Dubaju