Greifbare Benutzeroberfläche: Objekterkennung bei der Arbeit mit einem Multitouch-System

Wir werden unsere Erfahrungen mit der greifbaren Benutzeroberfläche teilen und Ihnen erklären, wie Sie Markierungen an Punktmustern erkennen. Sie erfahren, wie Sie mithilfe des Displays und des Infrarotrahmens spektakuläre Visualisierungen erstellen und welche Fallstricke bei der Arbeit mit TUIO auftreten können.

Anmerkung des Partners des MAI IT-Centers und des Veranstalters des Masterstudiengangs „ VR / AR & AI “ - PHYGITALISM .

Bei der Lösung wissenschaftlicher, pädagogischer oder geschäftlicher Probleme tritt häufig das Problem auf, die einfachste und verständlichste Visualisierung komplexer Prozesse und Daten zu finden. Jetzt wird dieses Problem durch Computertechnologie und mobile Geräte gelöst. Ein Ansatz für die menschliche Interaktion mit digitalen Informationen ist die greifbare Benutzeroberfläche (TUI) oder die taktile Benutzeroberfläche .

, // , . TUI , , , , .

TUI — Phygital Platform . - .

, , . , . ,  -  . , .

, ObjectViz, TUIO. , , .

, :

. . , ( ). , , . , . , , , : , , .

, ( , id, , ). , — , — , .

— () , , , , . , , .

G5S (Ultra-Slim) Multi-Touch Screen, 32 . TUIO (). :

 {"Id":15237,
     "Timestamp":397449,
     "Touches":[{
                    "Id":0,
                    "Position":{
                        "X":0.480208337,
                        "Y":0.5842593},
                    "Acceleration":{
                        "X":0.00208333344,
                        "Y":0.00370370364},
                    "Type":1},
                 {  
                    "Id":1,
                    "Position":{
                        "X":0.4859375,
                        "Y":0.484259248},
                    "Acceleration":{
                        "X":0.00208333344,
                        "Y":0.00370370364},
                    "Type":0},
                {
                    "Id":2,
                    "Position":{
                        "X":0.5140625,
                        "Y":0.551851869},
                    "Acceleration":{
                        "X":0.00208333344,
                        "Y":0.00370370364},
                    "Type":0}],
     "Count":3}

• ID ();
• Id ( );
• Position ( X Y);
• Type , (0 ; 1 , ; 2 );
• Count

: , [0,1]. , :

, .

, . , , 0, .

, 100% . .

$$

$$MAD = \frac{1}{n}\sum_{i=1}^n|L_{i} - \overline{L}|$$

$$

$$\overline{L} = \frac{1}{n}\sum_{i=1}^n L_{i}$$

$$

$$D = \underset{i}{\operatorname{\max {L_i}}} - \underset{i}{\operatorname{\min {L_i}}}$$

: $$$MAD$, $$$L$ $$$D$ , .

.

, , 2–3 . , , , Id, 20 .

, , — . . , .

, . . , , — .

.

, , , .

:

• ;
• ( ).

, .

, .

$$$V_0 V_s V_l$ ($$$s$— shortest, $$$l$ — longest). $$$(V_0 V_l)$ , , $$$(V_0 V_s)$. $$$V_s$ , .

, :

$$

$$\begin{vmatrix} (V_{lx} - V_{0x}) & (V_{ly} - V_{0y})\\ (V_{sx} - V_{0x}) & (V_{sy} - V_{0y}) \end{vmatrix} > 0 \Rightarrow$$

$$

$$(V_{lx} - V_{0x})(V_{sy} - V_{0y}) - (V_{ly} - V_{0y})(V_{sx} - V_{0x}) > 0$$

.

, , , . , . .

, d. , , , , — , .

.

, , , , d. .

, — , , d, .

.

, , . , d. -, . . $$$O(V+E)$, $$$V$ — , $$$E$ — .

:

1. ;
2. $$$v$:
   
   
   • $$$v$ , $$$DFS(v)$;
   • .

$$$v: DFS(v)$:

1. $$$v$ ;
2. $$$v$;
3. v $$$u$:
   
   $$$u$ , $$$DFS(u)$.

— , .

, ( , ). , s , .

$$

$$s_k = \frac{1}{3}\sum_{i=1}^3|L_{ki} - \overline{L_{i}}|$$

$$

$$RecognizedMarkerNumber = \underset{k}{\operatorname{argmin}} (s_k)$$

$$$L_{ki}$ — , $$$L_{i}$ — .

, , , .

.

, . , , , , . , , , — , , .

, . :

• , . , "" . : , .

  
  
  

• , , , .

  
  
  

• , , — . , - , , , .

  
  
  

, .

, , , , Id . , , . Type.

, . , .

, .

, ; , . Active ( = ) Passive ( = ). , , , .

: Added, Updated, Unstable, Removed. , .

, , (. . 10), , , : . 4,5.

.

, — .

.

, , , , . , , .

:

$$

$$x = \frac{m_a m_b(y_1 - y_3) + m_b(x_1 + x_2) - m_a(x_2 + x_3)}{2(m_b - m_a)}$$

$$

$$y = -\frac{1}{m_a} (x - \frac{(x_1 + x_2) } {2}) + \frac{(y_1 + y_2)} {2},$$

m — , :

$$

$$m_a = \frac{y_2-y_1}{x_2-x_1}$$

$$

$$m_b = \frac{y_3-y_2}{x_3-x_2}$$

φ . α₁ Oy . , — Oy . $$$V_{lx}, V_{ly}$ — $$$V_l$ , $$$V_o V_l$ ( ) . $$$\varphi$ :

$$

$$\varphi = \alpha_1 - \alpha_2$$

$$

$$alpha = \arctan{\frac{v_x}{v_y}}$$

$$$\alpha$, , , $$$-π ≤ θ < π.$

, .

, , , .

, TUI , — , ( C#).

— !