Gestos de mão lidos pela câmera, no navegador
Uma demo de visão computacional: o MediaPipe localiza a mão, regras escritas à mão contam os dedos e nomeiam 11 gestos, e um painel mostra as métricas reais da sua sessão. Nada sai do seu dispositivo.
Requer uma câmera e um navegador recente. O modelo (7,8 MB) só é baixado quando você ativa a câmera.
Gestos reconhecidos
| Gesto | Dedos | Regra |
|---|---|---|
| OK | Pinça (≤ 0,35) com médio, anelar e mínimo levantados | |
| Pinça | Pinça (≤ 0,35) com médio, anelar e mínimo abaixados | |
| Punho fechado | Exatamente esses dedos levantados | |
| Mão aberta | Exatamente esses dedos levantados | |
| Paz | Exatamente esses dedos levantados | |
| Rock | Exatamente esses dedos levantados | |
| Polegar | Exatamente esses dedos levantados | |
| Indicador | Exatamente esses dedos levantados | |
| L | Exatamente esses dedos levantados | |
| Três | Exatamente esses dedos levantados | |
| Quatro | Exatamente esses dedos levantados | |
| Gesto não mapeado | — | Qualquer outra combinação |
Do quadro ao gesto em três etapas
Etapa 1
Câmera local
O navegador lê a webcam só depois da sua permissão. Os quadros ficam no dispositivo.
Etapa 2
21 pontos por mão
O MediaPipe Hand Landmarker (WebAssembly, GPU quando disponível) localiza até duas mãos por quadro.
Etapa 3
Regras explicáveis
Pontas acima das articulações contam como dedos levantados; a distância polegar–indicador define a pinça. Uma janela de 5 quadros evita oscilação.
Duas implementações, as mesmas regras
Este site usa as regras em TypeScript. O repositório também traz o app desktop original em Python (OpenCV + MediaPipe), com HUD e seleção de câmera. As duas versões passam pelos mesmos casos de teste.
Privacidade
- O vídeo é processado no seu navegador; nenhum quadro, imagem ou ponto da mão é enviado.
- Ao ativar a câmera, o navegador baixa o modelo de mãos (7,8 MB) do Google Cloud Storage. Esse download não leva dados seus além do que qualquer requisição web leva (IP e navegador).
- Não há analytics, cookies nem cadastro. As métricas da sessão ficam só na memória da aba.
- Suas preferências (espelhar vídeo, mostrar landmarks) ficam no armazenamento local do navegador.