Rhayron Nogueira · um caderno vivo

Do sinal
à presença.

Sou engenheiro eletricista e construo pontes entre ciência, código e o mundo real. Do ultrassom na GPU à visão na fábrica e às inteligências que fazem companhia.

Explorar os projetos

Curitiba, BrasilCaterpillar · UTFPR2021 a 2026

um pouco de vida
entre as linhas ↙

Hina · sua anfitriã

“Olá, sou Hina. Este é o caderno de ideias do Rhayron. Vamos conhecer o que ele anda construindo.”

Pesquisa que investigaEngenharia que resolveIA que se faz presente

Algumas sementes, muitos caminhos

Cada ideia encontra
sua forma.

Experimentos, sistemas em produção e projetos pessoais. Escolha um ponto de partida.

Reconstruções ultrassônicas do acoustic_gpu

01 / Pesquisa & GPU

Enxergar com som

O interior de uma peça, reconstruído a partir de ondas. Física, deep learning e GPU.

Coado, planner de estudos no computador, celular e relógio

03 / Estudos & rotina

Um plano que cabe na vida

Concursos, ciclos de estudo, revisões e pomodoro. Do computador ao relógio.

Montagem com quatro avatares Live2D: Hiyori, Haru, Mao e Wanko

04 / Project Hina

Código que faz companhia

Voz, memória e personalidade. Sim, a nossa anfitriã também é um dos projetos.

Onda

Sala 1 · Pesquisa · CPGEI / UTFPR

O mestrado: imagear o interior de uma peça com som, saber onde a sonda está, e fazer tudo isso rápido.

Um pequeno experimento

O som também desenha.

Mova o ponteiro sobre as ondas. O foco acompanha o gesto e os atrasos dos 64 elementos se ajustam para que os pulsos se encontrem · uma ilustração do princípio por trás da pesquisa.

Água: 1480 m/s · Aço: 5900 m/s · Lei de Snell

acoustic_gpu

fev. 2026PythonTaichi Langpúblico

Em ensaio por imersão, o som sai do transdutor, atravessa a água e refrata ao entrar no aço. Para reconstruir uma imagem TFM é preciso o tempo de voo de cada um dos 64 elementos até cada pixel de uma região de 512 × 512: mais de 16 milhões de trajetórias refratadas, e cada uma é um problema de minimização. Na CPU isso é o gargalo. O módulo move o cálculo para kernels Taichi na GPU, mantém uma implementação de referência na CPU para validar, e cobre superfícies planas, inclinadas, tubulares e perfis irregulares estimados a partir dos próprios ecos.

Elementos: 64
ROI: 512 × 512 px
Trajetórias: > 16 000 000 por imagem
Superfícies: plana · inclinada · tubular · irregular · estimada dos ecos
Validação: dataset FMC de Bristol
Saída: FMC sintético · reconstrução TFM · tabelas de TOF

github.com/Rhayron/acoustic_gpu

Duas reconstruções TFM lado a lado: a referência de Bristol e a do pipeline acoustic_gpu — Reconstrução TFM do dataset de Bristol: referência à esquerda, acoustic_gpu à direita.

Gráficos de tempo de cálculo e acurácia de localização em função da resolução — Tempo de cálculo por resolução e acurácia de localização de defeito.

Mão segurando a sonda de ultrassom com um marcador ChArUco preso, vista pela parede do tanque de água — O marcador ChArUco na sonda, dentro do tanque, visto pela parede de vidro.

pose

jul. a out. 2026PythonOpenCVChArUcopúblico

A segunda frente do mestrado: saber onde a sonda de ultrassom está. Uma câmera S600 em 3840 × 2160 fica no tripé, fora do tanque, e enxerga pela parede de vidro um marcador preso ao transdutor dentro da água. Dessa imagem sai a pose 6DoF da sonda, e com ela cada quadro de ultrassom ganha um lugar no espaço, para registro 3D em inspeção subaquática. A calibração intrínseca é do Caliscope e o vídeo vai para o disco cru: a matriz K viaja no JSON da sessão em vez de ser aplicada ao arquivo. O piloto acústico de outubro já rodou; o próximo passo é validar o caminho inteiro, vídeo, pose, ultrassom e comparação com controle.

Câmera: S600 · 3840 × 2160 · MJPEG · no ar, em tripé
Ultrassom: Multi2000 · arquivos .m2k
Calibração: Caliscope 0.11.3 · K selado por perfil

github.com/Rhayron/pose

Dissertação em andamentoModelo híbrido de deep learning com o método SEAM para imageamento ultrassônico de phased array, avaliado por SSIM e Dice. Mestrado em Engenharia Elétrica e Informática Industrial, CPGEI/UTFPR, conceito CAPES 6, desde 2023.

Antes, 2021 a 2022 · P&D para a Copel via UTFPRAnálise automática de imagens termográficas de equipamentos de subestações: extração de características, segmentação e classificação de anomalias. No mesmo período, o projeto de hardware de um veículo guiado automatizado.

Painéis de análise de dados FMC: B-scans, eco de pulso e espectro de frequência — Análise do FMC bruto e filtrado: B-scans, A-scan e espectro, do dataset de Bristol.

Olho

Sala 2 · Indústria · Caterpillar Brasil, 2023 até hoje

Três anos de chão de fábrica: câmeras na linha de montagem, modelos YOLO em produção e um agente ao lado do operador.

ErrorProofing System

Django · Flask · YOLO v5, v8 e v11 · RTSP · Oracle (MES) · Azure Blob · Azure DevOps

Sistema de inspeção visual da linha de montagem. Lê os feeds RTSP das câmeras industriais, roda os modelos em microsserviços e devolve pass/fail em tempo real para o operador via REST, cruzando o resultado com o torque das bancadas e os dados do MES. As imagens de inferência vão para o Azure Blob Storage com rastreabilidade por data e tipo. Cada versão de modelo ou serviço passa por Pytest e Coverage no Azure DevOps antes de ir para a linha.

Da câmera à decisão

O que o sistema precisa enxergar.

Uma peça, uma regra de montagem e uma resposta para o operador.

Imagem ilustrativa de uma câmera industrial observando uma peça metálica na bancada — **01 · Capturar**Câmera, iluminação e posicionamento mantêm a região de interesse visível.

Exemplo ilustrativo de uma montagem com três parafusos e um ponto de fixação vazio — **02 · Inspecionar**A máscara delimita o conector; as caixas destacam as fixações e o ponto vazio.

Imagens geradas por IA e marcação didática para explicar a aplicação. Não são capturas da fábrica nem resultados de inferência.

01Quadro da câmerafeed RTSP
02Inferência visualmodelo YOLO
03Regra do processomontagem · torque · MES
04Resposta e registropass/fail · rastreabilidade

Sidekick agênticoAgente LLM dentro das aplicações web da fábrica: responde dúvidas sobre os sistemas, orienta fluxos e executa tarefas, com contexto dinâmico via RAG.
Chatbot de inspeçãoPerguntas em linguagem natural sobre processos e resultados, direto na interface de controle de qualidade.
OCR industrialLeitura de documentos e etiquetas por API de OCR, alimentando a rastreabilidade sem digitação manual.
Bancadas e CLPsTorquímetros, câmeras e controladores por Modbus TCP/IP, CANopen e MQTT. Dashboards em Power BI e Power Platform para Produção, Qualidade e Engenharia.
Frontend e dadosAplicações completas em Angular e Django usadas por operadores e engenheiros; MySQL e Oracle no operacional, Snowflake nas análises maiores.

Container Occupancy

jun. a ago. 2025YOLOv10 segmentaçãoFastAPIAngularMySQLprivado

Quanto do contêiner já foi preenchido? Uma webcam olha para dentro, o modelo segmenta as caixas e o sistema calcula o percentual de ocupação em tempo real. O frontend em Angular mostra a leitura para a logística, e o histórico fica em MySQL.

Arraste o cursor sobre a imagem para comparar o quadro cru com a segmentação.

Interior de um contêiner com caixas, quadro original da câmera

O mesmo quadro com as caixas segmentadas pelo modelo em cores

⇔

YOLOv10câmera

Da visão 2D à reconstrução 3D

Splat SaaS

De muitas imagens,
um espaço para explorar.

mai. 2026Python · FastAPIReact · Three.jsprivado

Fotos e vídeos deixam de ser apenas registros planos. O pipeline estima de onde cada imagem foi capturada e aprende uma representação da cena, que pode ser vista de novos ângulos.

O processamento pesado acontece na GPU do servidor. O resultado vai para um visualizador no navegador, onde a cena pode ser explorada.

O caminho da reconstrução

capturar → localizar → aprender → explorar

Esquema de várias câmeras observando o mesmo objeto de ângulos sobrepostos — 01
Captura com sobreposição
Vídeo ou fotos cobrem a cena de vários ângulos. O FFmpeg extrai os quadros que entram no processamento.
entrada · imagens

Esquema de correspondências entre imagens, posições das câmeras e uma nuvem esparsa de pontos — 02
Encontrar a geometria
O SfM, com pycolmap, relaciona pontos entre imagens para estimar as câmeras e uma estrutura inicial.
estrutura · posições

Esquema de elipsoides coloridos que representam posição, escala e opacidade na cena — 03
Aprender a aparência
Splatfacto e gsplat ajustam gaussianas na GPU para aproximar as vistas de referência. O pipeline exporta PLY.
treino · CUDA

Esquemas didáticos do processo. Referências: COLMAP e Nerfstudio / Splatfacto.

04 · Explorar no navegador

Uma cena, outros pontos de vista.

Gire a borboleta ou escolha uma vista. A imagem muda com a posição da câmera, revelando a aparência da cena no espaço.

Preparando a cena 3D…

3D Gaussian Splatting

Cena de referência · Borboleta. cena de demonstração pública do Spark / World Labs, usada aqui para explorar a técnica. O exemplo permite explorar a técnica; não foi produzido pelo Splat SaaS.

Vista frontal da borboleta em Gaussian Splatting — 01 · Frente forma e cor

Vista em perspectiva da mesma cena 3D — 02 · Perspectiva outra posição de câmera

Vista aproximada da borboleta mostrando detalhes das asas — 03 · Detalhe aproximação da cena

O que sustenta o produto

Da fila de processamento
à cena entregue.

Pipeline rastreável: Etapas de preparação, quadros, SfM, treino e exportação acompanhadas por eventos SSE.
Prévia durante o treino: Um proxy na mesma origem integra o viewer Viser enquanto o modelo é construído.
Entrega e acesso: Visualização WebGL no frontend, autenticação em cookie httpOnly e planos Free e Pro com Stripe.

Antes da fábrica, os cadernosYOLOv3 construído do zero em 2021 e um estudo de detecção e segmentação em 2022, ambos em notebooks. Estão na sala do Arquivo, no fim da página.

Protocolos e ferramentas da linhaRTSP · Modbus TCP/IP · CANopen · MQTT · OPC-UA · WebSocket · Redis · DeviceWise · Ladder e Texto Estruturado nos CLPs.

Foto de um cachorro com a grade de células do YOLO e a caixa de detecção desenhadas por cima — A grade do YOLO sobre a imagem, do caderno de 2022.

Ofício

Sala 3 · Estudos e rotina · 2025 a 2026

Um plano de estudos que acompanha o ritmo da vida, do computador ao pulso.

Coado

out. 2026TypeScript · KotlinReact 19 · Fastify 5 · Postgres 17Android · Wear OSpúblico

Planner de estudos para concursos com tema de café e lofi. Planos por concurso, edital verticalizado, ciclo de estudos, pomodoro, revisões espaçadas em 1, 7, 30, 60 e 120 dias, estatísticas e simulados. O mesmo app roda no navegador, no celular Android (login nativo com Google, o site inteiro numa WebView e um pomodoro que vive em segundo plano) e no relógio Wear OS, onde o timer são carimbos de tempo e alarmes exatos, sem contar segundos.

Login com Google por authorization code com PKCE, isolamento por conta até nas chaves estrangeiras, sincronização em lote com retry e um cabeçalho próprio contra CSRF. Testado num TicWatch Pro 5 Enduro pareado a um Galaxy S23 Ultra.

github.com/Rhayron/goals

25:00

estudo · Direito Administrativo · rodada 1 de 4

O Coado no navegador, no celular e no relógio, lado a lado — Navegador, celular e relógio, sempre na mesma conta.

Quatro telas do relógio: próxima sessão do ciclo, estudo, pausa e registro — No pulso: próxima do ciclo, estudo, pausa e registro.

Telas do pomodoro no celular: escolha, estudo, pausa e registro — No celular: a xícara enche conforme o café é coado.

Tela inicial do Coado no tema noturno — O tema noturno, “madrugada de lofi”.

Presença

Sala 4 · Project Hina · jun. 2026 em diante

Uma companheira que mora no desktop, lembra do que você disse e muda de humor com o tempo.

Live2D · várias formas de ser

Uma Hina.
Muitos jeitos.

Escolha a aparência da apresentadora. A voz e o jeito de apresentar continuam iguais. Modelos de amostra Live2D.

Hina

Python 3.13 · FastAPIElectron 43Live2D · VRM · PNGTuber929 commitsinstaladores públicos

VTuber companion e desktop pet. A janela é Electron, com modo pet transparente e click-through: o clique atravessa o vazio e só pega no corpo do avatar. A conversa, a voz e a memória rodam num servidor Python local, por FastAPI e WebSocket. Ela ouve pelo microfone, responde em áudio, olha para o ponteiro e, com a câmera ligada, acompanha o seu rosto. Interface em português do Brasil e inglês.

Com o modo agente ligado, ela executa ferramentas via MCP: hora, busca e leitura de páginas, memória, lembretes, arquivos, shell, uso do computador e um quadro Kanban com workers em segundo plano. A política padrão é perguntar antes de escrever, apagar ou executar. Uma suíte de não-regressão protege memória, personas, latência e o motor procedural a cada mudança.

Avatares: Live2D (Cubism) · VRM · PNGTuber em canvas · MMD · Spine · 13 no catálogo, 5 no instalador
Ouvir: Deepgram Flux · Groq Whisper
Falar: ElevenLabs · Gemini · Cartesia · Piper · pocket-tts · clone local
Janela: pet, desktop 520 × 760, bandeja · dashboard em /dashboard · memória em /memory-browser

github.com/Project-H-I-N-A/hina-releasescódigo privado

Por dentro da Hina · dashboard em ameixa claro. Captura do aplicativo, com dados de demonstração.

Minutos · humor

Um vetor PAD que decai

Prazer, ativação e dominância reagem a cada turno, modulam a linguagem corporal do avatar e voltam sozinhos à linha de base da persona. Cutuque e veja.

prazer

0,60

ativação

0,40

dominância

0,50

tranquila, na linha de base

Semanas · genoma de estilo

Dez dimensões, mutações de 0,03

Formalidade, sarcasmo, calor, verbosidade e mais seis eixos sofrem micro-mutações a cada turno e são puxados por atratores da constituição da persona. A personalidade deriva, mas não se perde.

Personalidade no dashboard da Hina em tema ameixa claro — Dashboard em ameixa claro: personalidade e genoma da anfitriã.

Meses · memória

Grafo bi-temporal em SQLite

Triplas sujeito-predicado-objeto com valid_from e invalid_at, confiança que sobe com confirmações e decai com o desuso. Busca vetorial com sqlite-vec, texto com FTS5 e recall híbrido por RRF. O navegador de memória tem um grafo 3D em Three.js para fixar, corrigir ou arquivar fatos.

A família em volta

Mostrador do relógio com a Hina em miniatura e a hora

HinaWatch

set. a out. 2026 · Kotlin · Wear OS · 58 commits

O mesmo modelo Live2D ativo no PC, desenhado na GPU do relógio com o Cubism SDK for Java em OpenGL ES 2. Só chegam eventos pelo WebSocket, nunca vídeo. Push-to-talk, HUD do modo pet e pedidos de permissão do agente respondidos no pulso. No TicWatch Pro 3 Ultra, o build sem depuração baixou o quadro do avatar de 17,5 para 9,4 ms.

HinaMobile

out. 2026 · Kotlin · Android · ML Kit

A câmera frontal acha o rosto no aparelho e manda ao relógio só a posição, até 15 vezes por segundo, pelo Data Layer do Wear OS. Sem mensagem por 1,5 s, o olhar volta ao de costume. Nenhuma imagem sai do celular.

hina2d

out. 2026 · Cubism · Git LFS

Produção da identidade Live2D própria: PSDs revisados, base editável no Cubism, auditorias e scripts de conferência. Uma pipeline anterior (psd2live, rembg) separou as camadas a partir da arte.

Landing atual da Hina: Seu desktop. Com mais companhia.

Site e documentação ↗

out. 2026 · HTML · CSS · JS · sem build

A landing atual apresenta a experiência, o dashboard e os avatares em movimento. A própria Hina conduz a visita, com voz e uma apresentação por contexto. Documentação em português e inglês.

Hina acenando, ilustração de boas-vindas do instalador

hina-releases

out. 2026 · instaladores

Instaladores, guia de uso, licença (gratuita para uso pessoal) e política de privacidade em português e inglês. As issues são o canal de bugs.

Personas

YAML · atratores

Hina, Haru, Wanko, Mochi e outras: cada persona é uma constituição em YAML que define a linha de base do humor e os atratores do genoma. Trocar de avatar troca de persona.

Estúdio

Sala 5 · GenStock e automação · 2025 a 2026

Referências que viram imagens. Ideias que viram ferramentas para tirar trabalho do caminho.

GenStock Studio

dez. 2025 a set. 2026Python · FastAPIReact · Tailwind v493 commitsno ar

Pipeline para produzir imagens de banco de imagens. Coleta referências do Adobe Stock por um daemon local no navegador do operador (ou Unsplash, Pixabay, Pexels), analisa cada imagem com o Gemini e escreve prompts detalhados, gera novas imagens com Imagen 4 ou Nano Banana em paralelo com retry, remove duplicatas por hash perceptual, exporta o CSV de metadados no formato da Adobe e, se quiser, gera vídeo 4K com o Veo em dois trechos de 8 s unidos localmente. A galeria atualiza por SSE enquanto o lote roda.

fonte→scraping→análise · Gemini→geração→dedup→upscale→CSV→ZIP

adobe-pipeline.vercel.appcódigo privado

Da criação à automação

Outras ferramentas da bancada.

ApplyPilot

jul. 2026Pythonlitellm · Playwright · Telegram33 commitspúblico

Agente que busca vagas de tempos em tempos no Greenhouse, Lever, Ashby, Gupy, LinkedIn e RSS, pontua o encaixe de 0 a 100 com um modelo barato, adapta o JSON Resume e a carta para cada vaga sem inventar nada, renderiza HTML e PDF compatíveis com ATS e aplica sozinho via Playwright. Quando não consegue, ou no modo de revisão, manda a vaga e o CV pelo Telegram com botões de aplicar ou ignorar. Rodou numa VPS ao lado do Hermes Agent.

github.com/Rhayron/applypilot

Bancada · ferramentas menores, 2024 a 2026

quando	o quê
out. 2026	TaskbarSlimC++ Altura da barra de tarefas e um Explorer enxuto no Windows 11, como DLLs avulsas, sem Windhawk. No x64, a busca de offsets virou varredura de bytes, sem disassembler.
set. 2026	jev-decisionPython Contribuição a uma camada de decisão para agentes de código, por hooks no Hermes Agent e no Claude Code: classifica se o pedido abre outra tarefa, se um comando pode rodar e qual modelo basta para um subagente.
ago. 2026	vrchatPython Gate de hardware e captura multirate de várias câmeras para full-body tracking, com Caliscope, SkellyCam, ONNX Runtime e PyTorch.
jun. 2026	AetherChatPython · Android Chat em grupo com vários modelos de IA na mesma conversa. Backend endurecido depois de uma auditoria adversarial: concorrência, chaves próprias (BYOK), rate limit e teto de custo.
jun. 2026	Hermes stackDocker · Shell · PowerShell Gateway do Hermes Agent, MechaBrain e rclone para o Google Drive numa VPS, com um monitor de finanças e um backup restaurável de tudo.
2026	audio2textPython Transcrição e resumo de reuniões gravadas.
2024 a 2026	alexa-geminiPython Skill da Alexa conversando com o Gemini, a partir de um modelo da comunidade.

Arquivo

Sala 6 · 2021 a 2023

Os cadernos de visão computacional, as páginas de estudo, o firmware das locomotivas e um bot que postava arte todo dia.

quando	o quê
out. a nov. 2023	CaosDiffusionJavaScript Um script sorteia um prompt de uma lista, gera uma arte por IA e posta no Twitter pela API, todo dia no horário escolhido, com contagem regressiva para acompanhar.
set. a out. 2023	BootStrap5-utilsHTML · JS Contador responsivo com Bootstrap 5.
set. 2023	holy-grailHTML · CSS Implementação em blocos do layout Holy Grail responsivo.
2023	contikiC Fork do sistema operacional de código aberto para Internet das Coisas, do tempo dos embarcados.
mar. 2022 a fev. 2023	ART · Alta Rail TechnologyC · C++ · Python Firmware para computadores de bordo de locomotivas e scripts de automação de testes de hardware, no estágio em hardware e software embarcado.
dez. 2022 a abr. 2023	YOLOv3 detection & segmentationJupyter Detecção e segmentação com YOLOv3, explicando NMS, mAP, precisão e matriz de confusão.
ago. 2021	YOLOv3 from ScratchJupyter O detector construído a partir do arquivo de configuração: a arquitetura, a carga dos pesos e os pipelines de entrada e saída.
mar. 2021	yolo-dataset-generatorJupyter Gerar um dataset para treinar o YOLO usando detectores mais lentos.

Montanha ao pôr do sol em tons dourados, arte gerada por IA — CaosDiffusion: a arte do dia.

Diagrama do pipeline de segmentação por bancos de filtros e floresta aleatória — Do caderno de segmentação: bancos de filtros e Random Forest.

Percurso

Gosto de conversar com as áreas, entender o processo real e construir a solução mais simples que resolve.

Engenheiro elétrico pela UTFPR (2019 a 2023), mestrando no CPGEI e pós-graduando em desenvolvimento web com frameworks modernos. Mais de cinco anos de Python, três de IA aplicada em ambiente industrial. Trabalho hoje na Caterpillar Brasil como analista de processos de manufatura, e à noite construo a Hina e o que mais aparecer no caderno.

e-mailrhayron.nogueira@gmail.com

linkedinlinkedin.com/in/rhayron

githubgithub.com/Rhayron Project-H-I-N-A

idiomasportuguês nativo · inglês avançado · francês A1

ondeCuritiba, Paraná, Brasil

Vamos dar forma a uma ideia?

Conversar por e-mail

Hina apresenta este caderno com avatares de amostra © Live2D Inc., como na landing. Animação e créditos. Narração opcional com ElevenLabs v4 Turbo.