Unit 5.7 · 웹·앱 자동화 / moa / learn / journey

이번 유닛에서는 한 걸음 더 나아가 헤르메스가 실제 화면을 보며 웹 폼을 채우고, 데스크톱 앱을 조작하게 합니다. 마지막에는 방금 수행한 전 과정을 재사용 스킬로 남깁니다.

이 가이드는 강의에서 입력한 명령과 프롬프트를 한곳에 모았습니다. 위에서부터 차례로 따라 하시면 파일 준비와 웹 자동화, 앱 자동화, 스킬 저장까지 한 흐름으로 완성됩니다.

💡 사전 요구사항: 헤르메스 에이전트 설치 및 첫 실행 가이드를 먼저 완료하세요. Mac 사용자는 Mac 유저 환경 준비 가이드도 함께 확인하시면 좋습니다.

## 먼저 알아둘 것: browser-use와 computer-use의 차이

• browser-use는 브라우저 안에서 페이지를 열고, 폼을 채우고, 버튼을 누르는 일에 맞습니다.
• computer-use는 운영체제의 파일 선택 창이나 카카오톡처럼 브라우저 밖에 있는 화면을 다룹니다.
• 웹 폼에서 파일 선택 창이 열리면 두 도구가 이어서 일할 수 있습니다. 웹 안은 browser-use가 맡고, 운영체제 창은 computer-use가 맡습니다.

⚠️ browser-use가 파일 입력란에 파일을 직접 넣는 환경에서는 운영체제 파일 선택 창이 뜨지 않을 수 있습니다. 이 경우 browser-use가 업로드까지 처리한 것이므로 정상입니다.

완성 후 생기는 파일과 스킬

파일명은 실행 결과에 따라 조금 달라질 수 있습니다. 중요한 것은 다운로드 폴더에 이미지와 PDF가 생기고, 헤르메스 프로필의 스킬 폴더에 SKILL.md가 남는다는 점입니다.

다운로드 폴더/
├── 주간-상품-반응-인포그래픽.png
└── 주간-상품-반응-보고서.pdf

~/.hermes/profiles/sophie/
└── skills/
    └── 생성된-스킬/
        └── SKILL.md

1단계. 자동화에 사용할 파일 준비하기

오늘의 주인공은 화면 자동화입니다. 이미지와 PDF는 뒤에서 웹에 올리고 앱으로 보낼 실습 파일로 가볍게 준비합니다.

1-1. 인포그래픽 이미지 만들기

헤르메스 세션에서 아래 프롬프트를 입력합니다.

아래 주소의 JSON 데이터를 읽고, 이번 주 상품 반응을 요약한 인포그래픽 이미지를 gpt-image-2로 만들어줘. 판매량 상위 3개 상품이랑 평균 재구매율이 한눈에 보이게. 다 만들면 다운로드 폴더에 저장해줘.
데이터: https://gist.githubusercontent.com/dandacompany/ba3b514be8bed494e9ada527a937238b/raw/magma-weekly-reactions.json

다운로드 폴더에 인포그래픽 이미지가 보이면 성공입니다.

1-2. 여러 모델의 의견을 모으기

/moa는 여러 참조 모델에 같은 질문을 보내고 결과를 종합합니다. 참조 모델 세트를 구성하고 MoA를 활성화한 상태에서 아래 프롬프트를 입력합니다.

/moa 아래 주소의 우리 이번 주 상품 반응 데이터를 보고, 3040 남성 패션 브랜드 관점에서 다음 주에 더 밀어야 할 상품이랑 개선점을 분석해줘.
데이터: https://gist.githubusercontent.com/dandacompany/ba3b514be8bed494e9ada527a937238b/raw/magma-weekly-reactions.json

모델별 의견 뒤에 하나로 합친 분석 결과가 나오면 완료입니다.

💡 참조 모델 구성 상태는 터미널에서 hermes moa list로 확인할 수 있습니다. 비활성 상태라면 hermes moa configure로 설정하세요.

1-3. PDF 스킬 설치하기

PDF 스킬은 기본 내장 스킬이 아닙니다. 헤르메스 세션에서 검색, 설치, 다시 불러오기 순서로 진행합니다.

/skills search pdf

/skills install skills-sh/anthropics/skills/pdf

/reload-skills

/reload-skills가 동작하지 않으면 새 세션에서 다시 시작하거나 /reset 후 설치된 스킬을 확인하세요.

1-4. 한 장짜리 PDF 보고서 만들기

/pdf 방금 /moa로 나온 종합 분석이랑 다운로드 폴더에 저장한 인포그래픽을 넣어서, 한 장짜리 주간 상품 반응 보고서를 PDF로 만들어줘. 다 만들면 다운로드 폴더에 저장해줘.

다운로드 폴더에 이미지와 PDF가 모두 보이면 자동화에 사용할 파일 준비가 끝났습니다.

녹화에서 실제로 만든 산출물

아래 두 파일은 Unit 5.7 녹화에서 같은 데이터와 프롬프트로 실제 생성한 결과물입니다. 인포그래픽의 구성과 PDF 보고서 형태를 실습 결과와 비교해 보세요.

• PDF 보고서: MAGMA_주간_상품_반응_보고서_2026-W28.pdf
• 인포그래픽 원본: magma_weekly_reactions_infographic_2026-W28_gpt-image-2.png

💡 두 파일은 수강생 전용관의 프로젝트 파일 탭에서도 assets/5.7-demo 폴더를 열어 내려받을 수 있습니다.

2단계. 화면 자동화 환경 준비하기

화면을 직접 다루는 작업은 화면이 연결된 실제 데스크톱에서 진행해야 합니다.

Mac 사용자

처음 computer-use를 실행하면 macOS가 권한을 요청할 수 있습니다. 시스템 설정의 개인정보 보호 및 보안에서 다음 두 항목을 허용하세요.

1. 손쉬운 사용
2. 화면 및 시스템 오디오 녹음

Windows 사용자

WSL에는 Windows 데스크톱 화면이 직접 연결되어 있지 않습니다. 이번 화면 자동화 실습은 Windows 네이티브 Hermes에서 진행하는 편이 안정적입니다. 기존 WSL 설정은 백업하고 가져올 수 있습니다.

먼저 WSL의 헤르메스 세션에서 백업을 요청합니다. 아래 내윈도우계정 자리는 실제 Windows 계정명으로 바꾸세요.

내 헤르메스 설정을 통째로 백업해줘. hermes backup 명령을 써서, 윈도우에서 바로 열 수 있는 C 드라이브 경로 /mnt/c/Users/{내윈도우계정}/hermes-backup.zip 에 저장하면 돼. 다 되면 파일 경로랑 크기를 알려줘.

Windows PowerShell에서 네이티브 Hermes를 설치합니다.

iex (irm https://hermes-agent.nousresearch.com/install.ps1)

새로 설치한 헤르메스 세션에서 백업 파일을 가져옵니다.

아까 만든 백업 파일 C:\Users\{내윈도우계정}\hermes-backup.zip 을 이 헤르메스로 가져와줘(import). 기존 설정은 덮어써도 돼. 다 되면 hermes doctor도 돌려서 문제 있으면 짚어줘.

⚠️ 백업 파일에는 설정과 인증 정보가 포함될 수 있습니다. 다른 사람에게 보내거나 공개 저장소에 올리지 마세요.

툴셋과 드라이버 준비

헤르메스 세션에서 두 툴셋이 켜져 있는지 확인합니다.

지금 computer_use 툴셋이랑 browser 툴셋이 켜져 있는지 확인해줘. 꺼져 있는 건 켜줘.

computer-use 드라이버는 터미널에서 처음 한 번만 설치하면 됩니다.

hermes computer-use install

설치가 끝나고 오류 없이 종료되면 준비 완료입니다.

3단계. browser-use로 웹 폼 자동화하기

먼저 헤르메스 세션에서 로컬 브라우저에 연결합니다.

/browser connect

크롬 창이 열리면 아래 프롬프트를 입력합니다.

방금 연 브라우저에서 아래 주소의 업로드 페이지를 열고, 부서는 '사업기획팀', 보고 주차는 '2026년 7월 2주차'로 입력해줘. 그리고 '보고서 파일'에는 다운로드 폴더에 있는 방금 만든 PDF 보고서를 올린 다음, 제출까지 해줘. 제출 완료가 뜨면 알려줘.
페이지: https://dandacompany.github.io/magma-report-upload/

페이지에 제출 완료 메시지가 보이면 성공입니다.

💡 이 주소는 강의용 정적 데모 페이지입니다. 선택한 파일을 서버로 전송하지 않고 브라우저 화면에서 제출 성공 상태만 보여줍니다.

작업이 끝나면 브라우저 연결을 해제합니다.

/browser disconnect

4단계. computer-use로 데스크톱 앱 자동화하기

카카오톡 데스크톱 앱을 실행하고 나와의 채팅을 열어 둡니다. 실제 지인에게 잘못 보내는 일을 막기 위해 처음에는 반드시 나와의 채팅이나 테스트용 대화를 사용하세요.

카카오톡을 앞으로 가져와서, 나와의 채팅을 열고 아래 메시지를 보낸 다음, 다운로드 폴더에 있는 인포그래픽 이미지도 함께 보내줘.
메시지: 이번 주 상품 반응 인포그래픽 공유합니다. 상위 3개 상품이랑 재구매율 정리했어요.

카카오톡 창에 메시지와 이미지가 모두 보이면 성공입니다.

⚠️ computer-use는 실제 화면을 클릭하고 입력합니다. 전송 대상과 첨부 파일을 확인한 뒤 실행하고, 금융 거래나 개인정보 입력처럼 되돌리기 어려운 작업은 마지막 확인 단계를 남겨 두세요.

5단계. 방금 한 과정을 스킬로 저장하기

파일 준비부터 웹 업로드와 앱 전송까지 마쳤다면 같은 헤르메스 세션에서 아래 명령을 입력합니다.

/learn

헤르메스가 지금까지의 대화를 돌아보고 재사용 가능한 스킬 문서를 만듭니다. 생성된 스킬 이름과 SKILL.md 저장 위치가 보이면 완료입니다.

💡 /learn은 터미널에서 실행하는 hermes learn 명령이 아닙니다. 헤르메스 대화 세션 안에서 입력하는 슬래시 명령입니다.

6단계. 쌓인 스킬 확인하기

헤르메스 세션에서 스킬과 메모리의 흐름을 확인합니다.

/journey

목록을 더 자세히 보고 싶다면 다음 명령을 입력합니다.

/journey list

스킬과 메모리가 날짜별로 보이면 성공입니다. 스킬을 열어 내용을 수정할 수도 있습니다.

⚠️ /journey list에는 개인 취향이나 환경 경로처럼 메모리에 저장된 내용이 보일 수 있습니다. 화면을 공유하거나 녹화하기 전에 민감한 항목이 없는지 확인하세요.

전체 입력 한 장: 빠른 참조

아래 순서만 다시 훑으면 전체 흐름을 빠르게 복습할 수 있습니다.

# 1. 이미지 만들기
아래 주소의 JSON 데이터를 읽고, 이번 주 상품 반응을 요약한 인포그래픽 이미지를 gpt-image-2로 만들어줘. 판매량 상위 3개 상품이랑 평균 재구매율이 한눈에 보이게. 다 만들면 다운로드 폴더에 저장해줘.

# 2. 여러 모델의 의견 종합
/moa 아래 주소의 우리 이번 주 상품 반응 데이터를 보고, 3040 남성 패션 브랜드 관점에서 다음 주에 더 밀어야 할 상품이랑 개선점을 분석해줘.

# 3. PDF 스킬 준비
/skills search pdf
/skills install skills-sh/anthropics/skills/pdf
/reload-skills

# 4. PDF 보고서 만들기
/pdf 방금 /moa로 나온 종합 분석이랑 다운로드 폴더에 저장한 인포그래픽을 넣어서, 한 장짜리 주간 상품 반응 보고서를 PDF로 만들어줘. 다 만들면 다운로드 폴더에 저장해줘.

# 5. 브라우저 연결과 웹 자동화
/browser connect
방금 연 브라우저에서 강의용 업로드 페이지를 열고, 부서와 보고 주차를 입력한 뒤 다운로드 폴더의 PDF 보고서를 올려 제출해줘.
/browser disconnect

# 6. 앱 자동화
카카오톡을 앞으로 가져와서 나와의 채팅에 안내 메시지와 다운로드 폴더의 인포그래픽 이미지를 보내줘.

# 7. 재사용 스킬로 저장하고 확인
/learn
/journey
/journey list

자주 만나는 문제

⚠️ computer-use가 화면을 못 누릅니다: Mac은 손쉬운 사용과 화면 녹음 권한을 확인하세요. Windows는 WSL이 아니라 Windows 네이티브 Hermes에서 실행하고, hermes computer-use install이 끝났는지 확인하세요.

⚠️ 파일 선택 창이 뜨지 않습니다: browser-use가 파일 입력란에 PDF를 직접 넣은 경우일 수 있습니다. 페이지에서 파일명이 선택됐는지 확인하고 그대로 제출을 이어가면 됩니다.

⚠️ /moa가 실행되지 않습니다: hermes moa list로 참조 모델 구성을 확인하고 hermes moa configure로 활성화하세요. 사용하는 모델 제공자의 인증과 사용 가능 상태도 확인해야 합니다.

⚠️ /pdf를 찾지 못합니다: 설치 후 /reload-skills를 실행하세요. 그래도 보이지 않으면 새 세션에서 시작하거나 /reset 후 다시 확인하세요.

⚠️ 카카오톡 입력이 다른 창에 들어갑니다: 카카오톡과 나와의 채팅을 먼저 앞으로 가져온 뒤 다시 요청하세요. 첫 실습은 전송 대상을 나와의 채팅으로 고정하는 것이 안전합니다.

마무리: 화면 자동화를 재사용 자산으로

이번 유닛에서 헤르메스는 브라우저 폼을 채우고, 데스크톱 앱에 메시지와 이미지를 보냈습니다. 그리고 /learn으로 이 과정을 다시 부를 수 있는 스킬로 남겼습니다. 한 번 수행한 일을 다음부터 한마디로 재사용할 수 있게 된 것입니다.

다음 섹션에서는 지금까지 갖춘 능력을 연결해 온라인 콘텐츠 사업부를 만들고, 스타터 웹사이트를 띄우는 흐름으로 넘어갑니다.

진행하시다가 막히는 부분이 생기면 언제든 인프런 질문 게시판에 질문 남겨주세요.