logo
Login
Cover image
mcp_voice_transfer
Private

mcp_voice_transfer

Try Now
2025-04-14

3 years

Works with Finder

0

Github Watches

8

Github Forks

0

Github Stars

MCP_Voice_Transfer

MCP_Voice_Transfer는 모바일 음성 명령 기반 송금 시스템을 목표로 합니다.

주요 특징

  • 음성 기반 인터페이스: Android/Flutter 환경에서 Wakeword 감지. STT + TTS를 통한 자연스러운 사용자 경험 제공
  • 효율적인 백엔드: FastAPI 기반의 비동기 처리 및 모듈화 아키텍처 설계
  • LLM: LLM 기반 의도 분석 및 RAG 연계
  • 이상탐지: 이상거래 탐지 및 음성 인증 탑재
  • 실시간 처리: 실시간 추론 및 온디바이스 경량 모델 적용을 통해 빠른 응답 제공
  • [9] 인증 단계 모킹
    • 예시: 지문 인증 or 인증 코드 입력 흐름을 가짜 토큰으로 대체

[3단계] 모바일 연동 및 OS 확장

  • [10] Android STT + TTS 연동

    • STT: 사용자 발화 → 텍스트 변환
    • TTS: 서버 응답 → 음성 안내로 출력

  • [11] FastAPI 연동 Android 클라이언트

    • Retrofit 등으로 /intent, /transfer 호출
    • 챗 UI 또는 음성 기반 UI 제공

  • [12] OS 서비스로 확장

    • VoiceInteractionService 활용
    • 웨이크업 키워드 ("아라야") → 바로 송금 대화 시작 가능

2. 모델 성능 검증

1. STT 모듈 (음성 → 텍스트 변환)

  • 검증 목표: 음성 입력에 대해 정확한 텍스트 변환 수행 여부 확인

  • 평가 지표:

    • WER (Word Error Rate, 어절 오류율): 띄어쓰기 단위의 오류율. NLU 등 후속 처리 성능과 연관성 파악에 용이.
      • 계산 공식: WER = (S + I + D) / N
        • S: 대체된 어절 수 (Substitutions)
        • I: 잘못 삽입된 어절 수 (Insertions)
        • D: 누락된 어절 수 (Deletions)
        • N: 원문(정답)의 총 어절 수 (Number of words in reference)
    • CER (Character Error Rate, 음절/글자 오류율): 글자 단위의 오류율. 띄어쓰기 오류에 덜 민감하며 순수 음향 모델 성능 평가에 유용.
      • 계산 공식: CER = (S + I + D) / N
        • S: 대체된 글자 수 (Substitutions)
        • I: 잘못 삽입된 글자 수 (Insertions)
        • D: 누락된 글자 수 (Deletions)
        • N: 원문(정답)의 총 글자 수 (Number of characters in reference)

  • 예시: | 실제 문장 | STT 결과 | WER | |------------------------|----------------------------------|-----| | 엄마한테 오만원 보내줘 | 엄마 한테 5만 원 보내 줘 | ? |

전체 시스템 흐름

dLLVQnfF57sVJt7nQGMJ_7wlWYMM8WJI6h3jKryMtJPIkygwba8fsCG4gHPCeoYfiGPCOe81DNzg8P-cZpkptw7NyRfsOgL_V36vS-wPS-wS6LUpjcxPkLSffiVjj0LYgoSEpaIhmZ9OJyQJ6TsqmHT9vMpRmENQ0BGdQo0A7T6k-NsWPo6SoQZWi9cmqia4n0phTJ9kI13zhGBNrnyYKvCF2w15zAmTtbYRKEA

  1. 음성 명령: 사용자가 앱에서 "헤이 플러터, 철수한테 만 원 보내줘" 라고 말합니다.
  2. Wakeword & STT: Android 서비스가 Wakeword("헤이 플러터")를 감지하고 음성 인식을 시작하여 텍스트로 변환합니다.
  3. NLU (의도 분석): 변환된 텍스트를 백엔드 LLM 서버로 전달하여 송금 의도와 대상: 철수, 금액: 10000 등의 정보를 추출합니다.
  4. FDS (이상거래 탐지): 추출된 송금 정보를 기반으로 이상 거래 여부를 탐지합니다.
  5. 음성 인증: 등록된 사용자의 목소리가 맞는지 화자 인증을 수행합니다.
  6. 송금 실행: 모든 검증이 완료되면, 송금 서버에 API를 호출하여 (시뮬레이션) 송금을 실행합니다.
  7. 결과 안내 (TTS): 송금 결과를 "철수에게 1만 원 송금했습니다" 와 같이 음성으로 안내합니다.
  8. UI 업데이트: 앱 화면에 송금 내역을 표시하고 저장합니다.

🛠️ 기술 스택

  • Backend: FastAPI (Python), SQLite (기본), Redis (캐싱/세션 관리용 고려)
  • LLM & NLU: Ollama (phi3-mini 등 sLM 기반), EXAONE-DEEP (LG AI Research) 연동 고려
  • Frontend: Flutter (Cross-platform), Android Native (음성 처리 연동)
  • Voice: Android STT/TTS API, On-Device STT 모델 (연구/개발 중)
  • FDS/Auth: Rule-based FDS, ECAPA-TDNN 등 경량 화자 인식 모델
  • Infra: Docker, (추후 MLOps 파이프라인 구축 예정)
  • MCP: 표준 모델 호출 인터페이스 규약 기반 REST API 설계

📊 시스템 아키텍처 개요

image


📑 상세 문서 보기


👥 팀 역할 분담

이름 역할 주요 업무 연락처
김선민 🧭 총괄 / 시스템 아키텍처 / 풀스택 개발 전체 시스템 설계, FastAPI 기반 백엔드 및 Flutter 앱 전체 개발, 폴더 구조/도커화, 음성 송금 기능 구성 seonmin8284@gmail.com
임은서 🔍 이상거래탐지(FDS) 이상거래 알고리즘 조사, 금융권 기준 탐지 룰 정리, FDS 회의 주도 cmdysp@naver.com
김서령 🔍 이상거래탐지(FDS) FDS 알고리즘 공동 담당, KYC 기반 설계 구상 중, 내부 테스트 협의 예정
강병하 🧠 음성 AI (STT / TTS) STT/TTS API 성능 테스트, 온디바이스 STT 담당, 음성 전,후처리, kbh0287@gmail.com
하진 🤖 경량 LLM (sLMs / NLU) phi3-mini 기반 NLU 처리, 의도 분석/슬롯 추출 설계, RAG 연동 고려 hajin0717@gmail.com
백두현 🔐 보이스 인증 / 화자인식 ecapa-tdnn 등 경량 음성 인증 모델 탐색, 안티스푸핑 대응 검토
변민찬 💡 RAG 흐름 서버 기반 RAG 흐름 제안, 의도별 발화 시나리오 설계, LLM 연동 구조 논의
강혜리 ⚙️ MLOps / 배포 환경 설계 서비스 배포 및 운영 자동화 파이프라인 구축 예정, 클라우드 구조 논의 예정

🛡️ 보안 주의

본 시스템은 실제 금융기관 API를 사용하지 않으며,
모든 송금 처리와 인증은 더미 데이터 기반 시뮬레이션으로 동작합니다.

相关推荐

港口

港口

  • av

    • 毫不费力地使用一个命令运行LLM后端，API，前端和服务。

    2 (1)
    1panel

    1panel

  • 1Panel-dev

    • 🔥1Panel提供了直观的Web接口和MCP服务器，用于在Linux服务器上管理网站，文件，容器，数据库和LLMS。

    2 (1)
    很棒的llm-resourses

    很棒的llm-resourses

  • WangRongsheng

    • 🧑‍🚀 llm 资料总结（数据处理、模型训练、模型部署、 o1 模型、mcp 、小语言模型、视觉语言模型）|摘要世界上最好的LLM资源。

    3.5 (4)
    LLM命令

    LLM命令

  • sigoden

    • 使用普通的bash/javascript/python函数轻松创建LLM工具和代理。

    1 (1)
    Rulego

    Rulego

  • rulego

    • ⛓️Rulego是一种轻巧，高性能，嵌入式，下一代组件编排规则引擎框架。

    3.7 (10)
    CPP-MCP

    CPP-MCP

  • hkr04

    • 轻巧的C ++ MCP（模型上下文协议）SDK

    3 (1)
    Langbot

    Langbot

  • RockChinQ

    • 😎简单易用、🧩丰富生态 -大模型原生即时通信机器人平台| 适配QQ / 微信（企业微信、个人微信） /飞书 /钉钉 / discord / telegram / slack等平台| 支持chatgpt，deepseek，dify，claude，基于LLM的即时消息机器人平台，支持Discord，Telegram，微信，Lark，Dingtalk，QQ，Slack

    5 (1)
    test_mcp

    test_mcp

  • paulwing

    • 使用MCP服务创建的测试存储库

    3.3 (10)
    minima

    minima

  • dmayboroda

    • 带有可配置容器的本地对话抹布

    3 (5)

    Reviews

    3.4 (11)
    Avatar
    user_HneHodzG
    2025-04-23

    MCP_Voice_Transfer is a revolutionary tool from ai-portfolio-study-org that has exceeded my expectations. Its seamless voice transfer technology is both efficient and easy to use. This product has significantly improved my workflow and communication, making it a must-have for anyone looking to enhance their voice-related tasks. Highly recommend!

    Avatar
    user_etxoDwdT
    2025-04-23

    I have been using MCP_Voice_Transfer by ai-portfolio-study-org and it is simply exceptional. The seamless voice-to-text and text-to-voice conversion feature makes my workflow so much more efficient. Plus, it’s user-friendly and integrates well with my existing tools. Highly recommended for anyone looking to enhance their productivity!

    Avatar
    user_lVDs5cxo
    2025-04-23

    As a devoted user of MCP_Voice_Transfer by ai-portfolio-study-org, I am impressed with its seamless functionality and intuitive interface. It effortlessly transfers voice commands across applications with remarkable accuracy, enhancing my daily productivity. Whether for personal use or professional tasks, this product has become an indispensable tool. Highly recommended!

    Avatar
    user_OuTk8R66
    2025-04-23

    I have been using MCP_Voice_Transfer by ai-portfolio-study-org and it has truly revolutionized how I manage my audio projects. The user-friendly interface and seamless integration make voice transfer a breeze. Highly recommend it to anyone needing a reliable and efficient solution for voice and audio work!

    Avatar
    user_RJUafO0X
    2025-04-23

    MCP_Voice_Transfer is an outstanding tool that revolutionizes the way I work with voice data. Its seamless integration and user-friendly interface make voice transfer tasks a breeze. Created by ai-portfolio-study-org, it's evident that a lot of thought and expertise went into this product. Highly recommend for anyone looking to enhance their productivity with reliable voice transfer capabilities!

    Avatar
    user_M6WBFncC
    2025-04-23

    I recently used MCP_Voice_Transfer by ai-portfolio-study-org and it exceeded my expectations! This application is incredibly efficient at converting text to speech with natural and clear voice outputs. The user interface is intuitive, making it simple to navigate and use. Highly recommend this tool for anyone needing high-quality voice transfer technology!

    Avatar
    user_zUmtkPq4
    2025-04-23

    I recently tried MCP_Voice_Transfer by ai-portfolio-study-org and I'm thoroughly impressed! This tool offers seamless voice transfer capabilities and intuitive user experience. It's handy for transforming your voice inputs with remarkable precision. Highly recommend for anyone needing reliable voice functionality!

    Avatar
    user_65TRhRek
    2025-04-23

    MCP_Voice_Transfer is an outstanding tool developed by ai-portfolio-study-org. It simplifies voice transfer tasks remarkably, making it user-friendly and efficient. The performance is impressive, and it integrates seamlessly with my workflow. Highly recommended for anyone dealing with voice-related operations!

    Avatar
    user_OayuVtXh
    2025-04-23

    MCP_Voice_Transfer is a remarkable tool developed by ai-portfolio-study-org. It offers seamless and high-quality voice transfer capabilities. As an enthusiastic user, I appreciate its intuitive interface and reliable performance. This application significantly enhances productivity by simplifying voice data management. Highly recommended for professionals and enthusiasts alike!

    Avatar
    user_tHIkbuoK
    2025-04-23

    MCP_Voice_Transfer is an exceptional tool created by ai-portfolio-study-org. It has significantly enhanced my productivity with its seamless voice transfer capabilities. The interface is user-friendly, making it easy to get started. Highly recommended for anyone looking to improve their workflow!

    Avatar
    user_rEZiscKX
    2025-04-23

    As a dedicated user of MCP_Voice_Transfer, I am thoroughly impressed with its seamless performance and intuitive interface. The voice transfer capabilities are outstanding, providing crisp and clear outputs every time. Kudos to ai-portfolio-study-org for developing such an exceptional tool. Highly recommended for anyone looking for efficient voice transfer solutions!