요약

• 모델과 사람이 보는 시선이 다를 수 있다.
• 사업자 등록증을 chatGPT에 넣어봤음
  • 자세하게 설명했음
  • 그러나 제대로 못읽음
    • 전혀 다른 내용으로 해석하기도 함
• 다양한 문서에서 정보를 추출해 다양한 데이터 값을 인식하는 시스템을 구축했음
• 우리는 정확성이 굉장히 중요했음
  • 그때문어 성능 향상이 반드시 필요함
• 문서 뿐만 아니라 사진에서도 데이터를 추출할 수 있도록 함
  • GPT 대비 6% 향상시킴
    • 고작 6%라는 지표는 좀 아쉬움
• 결국은 전처리다 라는 생각
• 생성 기술 서비스에도 적용해봤음
  • 프롬프트만으로는 스타일 안정성이 부족함
  • 사용자의 얼굴 각도, 품질, 오브젝트의 수 등에 따른 실패 가능함
  • 대응
    • 결국 이것도 답은 전처리였음
    • 얼굴 탐지 및 위치 재정렬
    • LoRA 학습이라는 개념을 통해 파인튜닝 할 수 있었음.
      • 학습 이후 동작 일관성이 향상됨.
• 가상 인물, 아이콘 생성 시
  • 특정 브랜드 노출 방지 등 법적 문제 해결가능함
• LoRA학습 시 고품질 DB를 엄선하는 방식을 통해 불필요한 다양성을 억제했음.

결론

• 팀 내에서 다양한 방식으로 AI를 활용해봄
  • 사업자 등록증, 사진 분석, 이미지 및 영상 생성 등
    • 실제로 잘 써먹고있는 서비스가 있는건 아님
    • 현재 팀이 사업에 핵심적인 역할을 한다기보다는 어느정도 PoC의 역할을 하고 있는 것 같음.
  • gpt보다 고작 6% 더 나온것도 좀 아쉬웠음
  • 그러나 결국 이러한 시행착오가 쌓이면 의미가 생길 것 같음.

스크립트

서비스 적용기
2025.11.04 화 오전 10:56 ・ 19분 36초
이두헌

참석자 1 00:00
영상 이해 기술과 생성 기술을 활용한 서비스를 개발하고 있는데요.
앞쪽에서는 이해 기술을 활용한 서비스 적용기 그리고 뒤쪽에서는 생성 기술을 이용한 서비스 적용기에서 말씀드리겠습니다.
굉장히 유명한 그림이죠. 이 그림을 보시면 어떤 분들은 오리로 보실 거고 어떤 분들은 토끼로 보실 겁니다.
이렇게 사람마다 동일한 사진에 대해서도 이해하는 경우가 다른데요.
모델 역시 이제 저희가 원하는 것과 다르게 볼 수 있습니다.
제가 보기로 원하는 것과 모델이 주는 답변이 다르게 되면 저희가 서비스 적용하는 데 어려움이 있기 때문에 학습을 통해서 서비스가 요구하는 방향으로 보도록 하는 것이 필요합니다.
올해 저희 팀에서 이제 진행했던 AI를 이용한 문서 이해 서비스 개발인데요.
타깃이 되는 문서 중에 하나인 사업자 등록증을 스트에 넣어보았습니다.

참석자 1 00:53
굉장히 자세한 인스트럭션을 주고 어떤 문서가 들어오면 어떤 어떤 항목에 대해서 읽어라 이렇게 굉장히 자세한 그런 인스펙션을 줬습니다.
하지만 실제로 적용을 해보면 여기 보시면 이 문서 종류에 대해서 한글로 읽어야 하는데 영어로 읽었고요.
또 여기 법인 등록번호에 대해서는 읽지 못했습니다.
그리고 여기 종목 항목에 대해서 읽어야 되는데 이것도 여기 있지 않은 전기통신업이랑 다른 단어를 읽었습니다.
그래서 문서 이해에 특화된 서비스 개발을 저희가 진행을 하게 되었고요.
단계는 일단 서비스가 어떤 요구 조건이 필요한지 그리고 그 서비스 조건을 만족시키기 위한 데이터를 일단 확보하고 그 데이터를 활용한 모델 학습 그리고 마지막에 서빙과 전후 처리 과정이 있는데 오늘은 이제 앞에 세 단계에 대해서 좀 설명을 드리려고 합니다.
우선 문화 이해 서비스가 어디에 사용될 것인지 이제 파악해야겠죠.
저희가 사내 AI 고객센터에서 적용한 기술을 개발하고자 했습니다.

참석자 1 01:53
고객센터에서는 지금 현재 상담원 분이 고객분의 다양한 증빙 서류들을 검증하고 거기에 해당 거기서 이제 그 안에 개인 정보들을 사내 전산 시스템에 기입하는 업무를 직접 하고 계셨는데요.
이런 것들을 이제 AI를 활용해서 자동화하는 기술을 개발하기로 하였습니다.
개발을 위해서 이제 어떤 서류들이 저희 인식 대상인지 그리고 그 인입의 경로는 어떤 식으로 들어오는지 또 결괏값은 어떤 값들을 저희가 주어야 하는지에 대해서 파악이 필요했고요.
전체적으로 한 200여 종의 이상의 문서에서 각각 다른 정보를 이해 했고 그 값들을 포함 다 합하게 되면은 한 500종 이상의 키 값을 저희가 인식해야 했습니다.
그리고 문서의 인입 경로도 이제 팩스나 이메일 그리고 웹 등 다양하기 때문에 사용자가 직접 촬영한 영상이나 아니면 텍스트를 통해서 이렇게 스캔된 이미지들이 들어오고 있었습니다.
저희가 이제 DB를 확보하는 과정인데요. 지금 이렇게 보이시는 것과 같이 다양한 증빙 서류들을 합성을 했습니다.

참석자 1 03:01
그 각 서류들의 그 포맷들을 다 만들고 그 안에 키 값들을 다양하게 넣어가지고 되게 다양한 증빙 서류를 합성을 했고요.
또 이렇게 합성한 것을 그대로 DB로 모은 것이 아니라 유입 환경에 따라서 직접 이제 사용자가 촬영한 환경이라든지 텍스트를 통해서 들어온 스캔 환경이라든지 이런 것들을 묘사를 했습니다.
그렇게 해서 저희가 생성 DB를 한 45만 장 정도 이제 확보를 하여서 학습을 진행했습니다.
학습을 진행할 때 적합한 베이스 모델을 찾고 거기에 그 베이스트 모델을 파인트링하는 과정을 거쳤는데요.
적합한 베이스트 모델을 찾기 위해서 이제 다양한 벤치마크들을 참고했습니다.
그래서 저희가 해당하는 저희 모델과 저희의 목적과 맞는 벤치마크 성능과 그리고 타겟하는 그리고 모델의 속도를 고려해서 서비스 환경에 맞는 모델을 선정을 했고요.
그렇게 선정한 베이스 모델을 저희는 주로 이제 SFP 그리고 dpo KTO 등을 통해서 파일 진행 과정을 거쳤습니다.

참석자 1 04:05
FT 성능을 유지하면서 세팅을 최소화 할 수 있도록 DP와 KTO의 방식을 활용하였습니다.
그리고 마지막으로 저희는 이제 문서의 테스트들이 거의 정확한 답을 요구하는 문제이고 또 학습 실패의 정확한 답을 가지고 있는 케이스이기 때문에 정답에 기반한 리워드를 주도록 포스트 트레이닝을 진행을 하였습니다.
이렇게 학습을 통해서 저희가 이제 베이스 모델에 비해서 최종적으로 파인 튜닝 그리고 최종적으로 포스트 이까지 거쳤을 때 성능이 많이 향상된 것을 확인할 수 있었습니다.
앞에서 보셨던 그 사업자 등록증 케이스를 보시면 앞에 이제 GPT가 틀렸던 이런 항목들 저희가 잘 이해하고 있는 것을 확인할 수 있었습니다.
AI 고객센터 서비스 외에도 저희 팀에서 이제 이미지 이해에 관련된 다양한 서비스를 개발하고 있는데요.

참석자 1 04:59
문서 인식 기술 활용을 해서 사내 컨플루언스 요약 서비스와 이제 폰차트 인식해서 요약에 포함하는 좀 쇼 차트까지 인식해서 이렇게 문자로 떨궈줄 수 있는 이런 서비스도 개발을 하였고요.
그리고 문서 내의 레이아웃을 이해하고 여기 이렇게 이렇게 기사 같은 경우에 각각의 문단이나 아니면 표가 포함되었거나 이미지가 포함되거나 이런 레이아웃들을 인식을 해서 RH 서비스에 적용하는 기술을 지금 개발하고 있습니다.
그런 문서 이해 이외에도 이제 사진을 이용한 위해 서비스도 진행을 하였는데요.
이것은 이제 찍재료를 이해하는 서비스였습니다.
식재료 위에는 이제 사용자가 촬영한 다양한 사진들에서 요리의 재료로 사용할 수 있는 항목들을 인식해서 찾아내는 테스트인데요.

참석자 1 05:51
보시면 이렇게 어떤 사람은 쇼핑 카페에서 촬영하고 어떤 경우에는 테이블 위에 정리해서 놔두고 어떤 경우에는 냉장고가 되는데 겹침도 많고 여기는 굉장히 어렵습니다.
그런 다양한 환경들에 대해서 정의를 하고 저희가 이것에 맞는 데이터들을 구축을 해서 학습을 진행을 했습니다.
학습 진행 후에 보시면 당시에 이제 hpt4가 실제 모델이었는데요.
그때 실제 GPT로는 이제 여기 그림 요거트나 감자가 가려져 있는데 이거를 이제 인식하지 못했었습니다.
저희도 감자 같은 경우에는 계란으로 인식하긴 했지만 그래도 이제 그림 요 같은 잘 이해하는 것을 볼 수 있고요.
GPT에 비해서 현재 이제 최종적으로는 한 6% 정도 성능이 향상된 것을 확인할 수 있었습니다.
이해를 이용한 이해 기술을 이용한 서비스에 대해서 설명드렸고 이제 생성 기술에 적용 설명드리겠습니다.
이 컬러링 서비스 다 아시는지 모르겠어요. 저희 통화 대기 화면에 수신자가 지정한 동영상과 연결이 제공되는 서비스인데요.

참석자 1 06:56
올해 저희 팀에서 이제 사용자의 얼굴 사진을 입력으로 받아서 캐릭터로 변환해서 이렇게 필요할 경우에는 사용자에게 입력한 문구까지 넣어서 통화 대기 화면을 만드는 회화와 반려동물 사진을 넣으면 그것과 닮은 캐릭터로 변화해서 특정 콘셉으로 동영상을 생성해 주는 그런 테마를 개발하는 업무를 진행했습니다.
요새 워낙 이제 모델들이 잘 나오기 때문에 이미지나 비디오를 생성하는 모델의 경우에 프로포트만 잘 쓰면 결과가 그냥 나올 수 있지 않을까 이렇게 많이 생각하실 것 같아요.
그래서 이렇게 입력 사고 이렇게 넣으면 여기 생성 모델에다가 카툰 스타일로 바꿔서 생전 만화 바꿔줘 아니면 옛날 소년 만화 스타일로 바꿔서 이렇게 넣으면 딱 나올 것 같잖아요.

참석자 1 07:46
그리고 동물의 경우에도 이렇게 나의 동물 사진을 넣고 이것을 어떤 콘셉트 예를 들어서 요리하는 모습으로 만들어도 그다음에 이걸 비디오로 만들어줘서 되게 여러 번 시도하면 나오는 경우도 있긴 합니다만 그렇게 쉽게 생각하실 수 있는데 실제로 적용해 보면 이제 조금 약간 되기는 합니다.
근데 보시면 이제 심장 만화나 실력 만화나 되게 비슷하게 결과가 나오는 것들을 볼 수 있고요.
또 시도할 때마다 결과에 판수가 많이 달성합니다.
그리고 저희는 이제 서비스에 적용을 해야 되기 때문에 사용자가 어떤 이 스타일에 대해서 나는 얻고 싶어서 들어왔는데 이게 아니라 좀 다른 애가 나온다 이러면 좀 서비스의 안정성이 떨어지게 되죠.
그래서 스타일 간의 명확한 차이도 중요했고 결과의 안정성도 중요했습니다.
동물의 경우에도 마찬가지입니다. 이렇게 반려동물 이미지를 넣고 동물이 닮은 캐릭터를 만드는 게 이제 프롬프트를 잘 쓰면 모습 나올 수 있는데요.

참석자 1 08:47
이것을 이제 동영상으로 촬영한 에서 만들게 되면 보시면 이제 요리하는 모습 반죽을 해야 되는데 약간 먹는 것 같은 이런 영상이 나온다거나 저희가 생각하지 않았던 동작을 하는 경우가 많이 발생을 했습니다.
또 실제 사용자 입력이 굉장히 다양해서 이제 인물이 있어야 되는데 이렇게 뒷모습이나 잘 안 보이는 사진이 들어올 수도 있고 어떤 경우에는 여러 마리의 동물을 넣을 수도 있고 뒷모습이 들어올 수도 있고 사람이 잘 들어오더라도 이게 사람의 얼굴 위치가 매번 다를 수가 있잖아요.
이런 것들에 대해서 좀 안정성 있는 결과를 내보내기 위해서 저희 사용자 입력들을 미리 이제 전처리하거나 이런 과정들이 필요했고 또 사용자가 이제 아주 좋은 이미지만 넣는다는 보장이 없잖아요.
선정적이거나 폭력적인 영상을 넣을 수도 있고 이제 그런 것들이 콜 화면으로 나가면 안 되기 때문에 이미지 세트 디체크라든지 얼굴 디텍션 그리고 입력한 문구에 대한 데이터 체크도 필요했습니다.

참석자 1 09:43
그리고 저희가 스타일과 비교 앞에 그런 스타일 명확성이나 이 동작 같은 거 저희가 원하는 대로 나가게 하기 위해서 이제 학습도 진행을 하였습니다.
저 인물은 인물은 테마에 대해서 좀 정리를 해보자면 사용자 입력이 들어오면 페이프 체크하고 그다음에 이제 얼굴이 있는지 확인을 하고 그다음에 그것을 이제 얼굴 위치를 저희가 원하는 그걸 맞춰주고 그리고 이제 이 이미지를 이용해서 이제 트랜스포머 기반의 생성 모델을 사용해서 이미지 생성을 하는데요.
이때 이제 프롬프트는 이 사진에 들어가 있는 사진 사진에 자세한 표정 나이 성별 이런 것까지 다 종합적으로 인식을 해서 활용을 하였습니다.
그리고 타깃으로 하는 스타일 요란 학습한 스타일 요란을 활용해서 생성에 적용을 하였고요.
마지막으로 이제 비디오 이펙트를 얹으면 이렇게 실종 영상을 얻을 수 있었습니다.

참석자 1 10:41
동물의 경우에도 입력 사진에 대해서 세이프지 체크하고 동물 얼굴이 있는지 확인을 하고 그리고 여기에 이제 컨셉을 주어서 서비스 생성해서 이미지를 일단 생성을 하고요.
그다음에 이미지를 활용해서 또 비디오 학습한 동작에 대한 노라를 적용을 해서 동영상을 만들 수 있었습니다.
보시면은 이건 이제 파리 파티에서 토지도 있고 와인도 마시는 모습이고 그다음에 이제 배경에 불꽃놀이가 들어가는 이런 동영상을 만들 수 있어 노라 학습에 대한 결과를 간단히 오늘 결과를 비교해 드리자면은 이건 이제 순정만화 스타일과 소년 만화 스타일인데요.
윗줄에 이제 로라 적용하기 전 결과이고 밑에 줄이 로라 적용한 후의 결과입니다.
보시면 or을 적용하기 전에는 이제 좀 경우마다 좀 다른 영상 다른 이미지가 나오고 또 약간 순정 만화와 소년 만화 사이에 좀 스타일 간의 차이도 명확하지 않습니다.
근데 학습을 진행한 뒤에는 좀 명확하게 안정적인 결과를 얻을 수 있었습니다.
동영상도 마찬가지인데요.

참석자 1 11:50
보시면 아까 보셨던 요리하는 유리 대신 먹는이 강한 사람들 반죽을 잘 요리하고 또 하늘을 나려면 이렇게 사라지거나 하면 거의 의도하지 않은 경우로 영상에 나오는 경우도 있었어요.
근데 잘 안정적으로 하늘 나누어를 만들 수 있었습니다.
이외에 이제 다른 서비스들이 이미지 생성 기술 저희가 사내에 적용하고 있는데요.
이것은 이제 가상 인물의 인지를 생성하는 과제였습니다.
그래서 가상 인물의 아이디 이 사람 만들어낸 사람이고요.
그 사람의 아이디 학습을 진행해서 실제 촬영한 사진에서 사람 얼굴만 가상 인물로 바꾸는 그런 과제를 진행했습니다.
저희 2명의 가상 인물을 사용을 했고요. 각각의 인물이 적용되거나 아니면 두 사람 모두 바꾸는 경우에 대해서도 잘 생성할 수 있었습니다.
또 저희가 사내 마케팅용으로 사용하기 위해서 이런 아이콘 형태의 에셋을 생성하는 과제를 진행을 했는데요.

참석자 1 12:51
이 경우에는 이제 특정 브랜드가 나오지 않도록 예를 들면 아이콘이라고 티가 나거나 그렇게 하면 안 되기 때문에 그런 브랜드가 나오지 않도록 하고 또 생성 결과가 되게 일관성 있도록 학습이 필요했습니다.
그래서 앞선 과제들과 마찬가지로 타겟 트라이를 하고 조건에 대해 학습 진행하고 복부에 잘 맞는 아이코니를 만들 수 있었습니다.
이제 마지막 케이스인데요. 저희가 LLM이 출력하는 글자들에 대해서 이제 정보 중 일부를 이미지로 보여주는 과제를 진행했었습니다.
그래서 옷차림이나 식재료 같은 타겟에 대해서 이미지를 생성해서 결과에 보여줌으로써 이제 글자만 나오는 것보다는 좀 더 한눈에 들어올 수 있게 하는 과제를 진행을 했는데요.
그래서 이렇게 등산 준비해 있을 때 여기에 등산 복장에 대해서 말로 나오는 것보다는 한 번 이것을 저희가 옷차림에 대해서 이미지화하면은 잘 좋겠다 했는데 그러니까 저희는 이런 이미지를 기대했는데 나오는 애를 보니까 조금 저희의 기준에는 좀 미치지 못했어요.

참석자 1 13:51
그래서 학습을 통해서 좀 더 예쁘게 만들어 보았습니다.
otd 같은 경우에는 실제 이미지와 생성 이미지 두 가지를 다 사용을 했고요.
실제 이미지 같은 경우에는 여기에 해당하는 캡션이 없기 때문에 그 LLM 통해서 캡션을 만들고 이미지를 생성해서 보면은 저희가 생각했던 거랑 좀 달라요.
그래서 이 캡션의 퀄리티를 높이기 위해서 이 과정을 반복적으로 진행을 했습니다.
그래서 프롬프트를 개선하는 과정을 통해서 입력 사진과 페어링이 잘 되는 그런 고품질의 캡션을 얻어서 페어를 데이터 페어를 얻을 수 있었고요.
생성한 이미지의 경우에는 생성한 DB의 경우에는 프로포트를 생성한 뒤에 하나의 프로포트에서 다양한 여러 장의 생선이 들었고 그중에 이제 좋은 결과의 이미지를 선별해서 페어적 기기로 활용을 하였습니다.
그래서 학습을 하게 되면 여기 왼쪽이 학습하기 전 오른쪽이 학습한 이유입니다.

참석자 1 14:51
학습 전에 보시면은 실제 사람 몸이 나온다거나 아니면 여기서 좀 신발이 두 번이 나온다거나 그리고 여기 이렇게 브랜드가 나오는 경우도 있었고 좀 저희가 원하지 않는 구조의 결과가 나오는 경우도 있었는데 그런 문제들이 다 해결되는 것을 확인할 수 있었습니다.
그리고 비슷한 맥락에서 음식과 식재료에 대한 이미지 엑셀들을 생성을 했는데요.
여기서도 이제 접시 크기나 밝기 그리고 이미지 톤들이 다 일관되도록 그런 다양한 이미지들을 생성할 수 있었습니다.
이 경우에는 이제 한 4만 5천 명 정도 저희가 이미지들을 확보해서 적합한 상황에 또 잘 맞는 이미지가 매칭될 수 있도록 LLM 문구 안에서 그런 매칭 기술까지 같이 개발을 완료했고요.
이렇게 하면은 이제 실제 이미지 구매하는 비용을 아끼는 효과도 있었습니다.
제가 발표가 너무 일찍 끝난 것 같아요. 상대 감사합니다.

참석자 2 15:52
네 영상 이해와 성공 분야에서 모델 최적화 서비스 적용 사례를 통해서 실제 서비스 질 향상의 통찰을 얻을 수 있는 의미 있는 시간이었는데요.
오늘 좀 QnA를 할 수 있는 여유로운 시간을 준비해 주셨는데 내용 듣고 궁금하신 점이 있으셨던 분은 손을 들어주시면 저희가 마이크 전달 드리겠습니다.
네 레이 마이크 제시 부탁드립니다.

참석자 3 16:21
좋은 발표 잘 들었습니다. 저 궁금한 게 그 문서 이해할 때 레이아웃 분석할 때 혹시 그 문서를 그냥 OCR로 하는지 아니면 HTML 코드로 분석해서 레이아웃을 구분하는지 그 부분 좀 궁금합니다.

참석자 1 16:40
사실 문서 이미 제가 직접 진행하지 않고 저희 팀 다른 분들이 해서 답변이 정확한지는 모르겠어요.
근데 저희는 사진 자체를 넣고 거기에 대해서 이제 이 부분은 문단 이 부분은 이미지 이 부분은 표 이런 식으로 다 각각을 레이아웃을 구별하는 것들을 진행을 했습니다.
그래서 아마 질문하신 거에 맞춘다면 HTML 이제 이 영역별로 구별하는 것처럼 보실 수 있지 않을까요?
약간 검출과 비슷한 방식으로 진행했다고 생각하시면 될 것 같아요.
네 감사합니다.

참석자 2 17:17
네 다른 질문 있으신 분들께서는 손을 들어주시면 저희가 마이크 전달하도록 하겠습니다.
네 먼저 손 드신 여기 여섯 분께 마이크 전달 부탁드리겠습니다.
다시 찾아주세요. 하 잘 들었습니다. 궁금한 게 있는데요.
원하는 의도대로 이미지들이 잘 생성되었는지 평가는

참석자 1 17:41
어떤 식으로 진행하는지 궁금합니다. 사실 되게 생성한 이미지나 동영상에 대해서 평가하는 굉장히 어렵습니다.
이제 저희가 매트릭을 사용할 수 있는 방법도 있겠지만 그게 정확하지는 않거든요.
그래서 저희는 사실 휴먼 모터를 사용했습니다. 그래서 사람에게 실제로 이제 저희가 기준들을 주고 이제 원하는 스타일들이 있었으니까 이제 스타일에 대한 명확성이나 동작에 대한 명확성 그리고 심리적인 부분 아니면 이제 오류가 발생하는 부분 특히 이제 이미지 같은 경우는 신체 오류가 발생한다거나 이제 그런 경우들 그런 것들이 이제 있는지 없는지 다 사람이 평가하면서 이제 좀 모델을 만들어

참석자 2 18:18
네 저희 아쉽지만 마지막 한 분 정도만 질문 더 받도록 하겠습니다.
아까 손 들어주셨던 분 질문 네 저쪽 마이크 전달 부탁드립니다.

참석자 4 18:31
네 발표 감사합니다. 이미지 생성을 통해서 DB 다양성을 확보하실 때 일관성을 유지한다는 방식으로 이미지를 생성하신 것으로 했는데 혹시 그 일관성을 유지한다 해서 어떤 파라미터를 고정으로 사용하셨는지 그런 거 좀 질문드리고 싶습니다.

참석자 1 18:54
생성 부분에서 말씀하시는 것도 아까 했던 파라미터 저희는 좀 사실 생성해서 롤라 학습하는 경우에는 이제 아까 그 atv 외에 그냥 스타일이나 동작 같은 경우에는 아주 많은 DB가 필요하지 않았거든요.
그래서 최근에 저희가 DB를 골라내서 좋은 DB를 활용하는 방법을 많이 사용을 했습니다.

참석자 2 19:20
네 그럼 이것으로 두 번째 발표를 마치겠습니다. 유익한 발표를 준비해 주신 최진영 매니저님께 다시 한 번 큰 박수 부탁드립니다.

참석자 2 19:32
네 이것으로 두 번째 발표가 종료되었습니다.

clovanote.naver.com