데이터 품질에서
AI-Ready 데이터,
합성데이터까지
DQube WEB 은 원천 DB 의 품질을 진단 · 개선하는 데서 멈추지 않습니다. 같은 프로그램에서 데이터를 AI 학습에 바로 쓸 수 있는 AI-Ready 데이터로 정제하고, 합성데이터 구축 플랫폼 디큐SYN 과 이어 원본 대신 쓸 수 있는 합성데이터까지 만듭니다.
품질 진단 · 개선
원천 DB 의 값 · 참조 · 업무규칙 오류를 찾고, 고쳐졌는지 재진단으로 확인합니다.
AI-Ready 데이터
DB AI Readiness 진단 · AI-Ready 정제 · 탐색적 분석으로 AI 학습에 맞는 데이터를 준비합니다.
품질 진단에서 멈추지 않고, AI 와 합성데이터까지 잇습니다
품질 진단을 마친 데이터도 AI 학습이나 외부 활용에 바로 쓰기는 어렵습니다. DQube WEB 은 품질 진단 결과 위에서 AI-Ready 데이터를 준비하고, 디큐SYN 과 이어 원본을 내보내지 않고도 쓸 수 있는 합성데이터까지 한 흐름으로 만듭니다.
품질 진단만으로는 남는 과제
- 품질 진단을 통과해도 AI 학습에 바로 쓸 수 있는지는 따로 판단해야 함
- 깨진 글자 · 보이지 않는 문자 · HTML 찌꺼기 · 제각각인 빈 값 표기는 품질 룰에 잘 걸리지 않음
- 개인정보가 섞인 원본은 AI 개발 · 외부 개방에 넘기기 어려움
- 진단 · 정제 · 합성 도구가 따로라 기준과 보고서가 제각각
DQube WEB 이 잇는 것
- 품질 : 원천 DB 오류를 자동진단으로 찾고, 배정 → 조치 → 재진단 확인까지 이력으로 관리
- AI-Ready : 공공 가이드라인 기준의 DB AI Readiness 진단과 AI-Ready 정제, 탐색적 데이터 분석
- 합성데이터 : 정제한 파일을 디큐SYN 에 올려 합성데이터를 만들고 유용성 · 안전성 검증 보고서까지
- 같은 기준 : 디큐SYN 이 DQube WEB AI-Ready 정제와 같은 정제 기준을 써서 정제에서 합성까지 판단이 어긋나지 않음
DB 접속만 등록하면, 품질 진단은 DQube 가 알아서
품질 진단에서 손이 가장 많이 가는 일은 컬럼마다 값을 살펴 룰을 정하고, 진단하고, 틀린 룰을 고쳐 다시 진단하는 반복입니다. DQube 의 자동진단관리는 이 과정을 처음부터 끝까지 사람 손 없이 처리합니다. 담당자는 결과를 확인하고 조치만 하면 됩니다.
- 사람
접속 등록
DB 접속 정보를 한 번 등록
- 자동
수집 · 프로파일링
테이블 · 컬럼을 수집하고 값 종류 · 패턴을 분석
- 자동
룰 지정
도메인 자동매핑과 규칙 추천으로 컬럼별 룰 세팅
- 자동
진단 실행
값 · 참조 · 업무규칙 진단을 대기열에서 차례로 실행
- 자동
룰 보정 · 재진단
오류가 많은 룰을 스스로 고치고 다시 진단
- 사람
결과 확인 · 개선
오류 데이터를 확인해 조치하고 재진단으로 확인
- 자동
정기 진단 · 감시
스케쥴 재진단, 매일 품질 기록 · 이상 감지 알림, 정기 보고서 발송
룰 세팅이 가장 오래 걸리는 일, 그 일을 줄였습니다
값 진단의 핵심은 컬럼마다 맞는 룰을 정하는 것입니다. DQube 는 컬럼 이름과 실제 값을 함께 보고 룰을 제안하고, 사람은 확인과 보정에 집중합니다.
자동진단관리
프로파일링 → 룰 세팅 → 진단 → 오류가 많은 룰 보정 후 재진단까지 한 번의 실행으로 처리합니다.
도메인 자동매핑 · 규칙 추천
컬럼명 · 값 패턴 · 같은 DB 의 다른 컬럼 · 과거 진단 사례를 단계별로 보고 날짜 · 번호 · 여부 · 코드 등의 룰을 추천합니다.
도메인 후보 · 판별 확률
한 컬럼에 어울리는 도메인 후보를 점수와 순위로 보여 주어 근거를 보고 고를 수 있습니다.
값 분포 · 이상값 탐지
컬럼 전체의 값별 건수를 그래프로 보고, IQR · Z 점수로 이상값을 찾아 범위 룰을 바로 채웁니다.
참조 무결성 진단
부모 테이블에 없는 코드 · 키 값을 찾아 건수와 오류 데이터를 보여 줍니다.
업무규칙(SQL) 진단
컬럼 간 논리관계 같은 업무 규칙을 SQL 로 등록합니다. SQL 도우미 템플릿으로 SQL 을 몰라도 시작할 수 있습니다.
필수값 진단
값이 반드시 있어야 하는 컬럼에서 NULL 과 빈 문자열을 찾아냅니다.
기존 진단 결과 가져오기
기존 진단 도구의 결과보고서를 가져와 제외 사유 · 룰 · 업무규칙 · 참조를 이어받습니다.
일괄등록
DB · 제외 테이블 · 코드 · 참조 · 업무규칙을 엑셀로 준비해 붙여넣어 한꺼번에 등록합니다.
진단으로 끝나지 않고, 고쳐졌는지까지 확인합니다
진단 결과 · 오류 데이터
항목별 전체 · 오류 건수와 오류율, 오류 행과 수정 대상 행을 찾는 SQL 을 제공합니다.
증적용 · 내부용 · 종합 보고서
제출용 증적 양식과 내부 분석용 보고서를 엑셀로, 정기 보고서는 PDF 로 자동 생성 · 발송합니다.
품질 지표 · CTQ
공공데이터 품질관리 세부지표별로 품질과 목표 달성 여부를 보고, 업무상 중요한 항목(CTQ)을 따로 집계합니다.
개선 관리
오류 항목을 담당자에게 배정하고 원인 · 계획 · 조치를 기록합니다. 확인 완료는 재진단으로만 닫혀 개선 전후가 남습니다.
품질 추이 · 이상 감지 · 알림
매일 품질을 기록해 회차별 변화를 비교하고, 갑자기 나빠진 항목을 찾아 화면 알림과 메일로 알립니다.
품질 진단 현황 · 진단결과맵
로그인하면 DB 별 룰 세팅률 · 진단 수행률 · 오류율과 테이블별 품질 지도를 처음 화면에서 보고, 그대로 PDF 로 저장합니다.
원천 DB 에 다시 접속하지 않고 표준과 구조를 점검합니다
수집한 테이블 · 컬럼 정보만으로 표준 준수와 구조를 집계하므로 운영 DB 에 부담을 주지 않습니다.
표준 관리 · 현황보고서
표준 단어 · 용어 · 도메인 준수를 점검하고 데이터 표준화 현황보고서를 PDF 로 만듭니다.
구조 관리
PK · FK · 데이터 타입 · 길이 같은 구조 문제를 테이블 단위로 찾아 예외 관리와 함께 정리합니다.
메타 관리 · 표준 사전 후보
수집한 스키마에서 표준 단어 · 용어 · 도메인 후보를 뽑아 검토 후 기관 표준으로 등록하고, 외부 메타 시스템과도 연계합니다.
개방데이터 · 개인정보 노출
개방 대상 테이블을 지정하고, 개방 컬럼에 주민번호 · 연락처 같은 개인정보가 섞여 있는지 점검합니다.
파일데이터 진단
DB 가 아닌 CSV · 엑셀 파일도 같은 룰로 진단합니다.
업무영역 · 통합검색
테이블을 업무영역 계층으로 묶어 영역별 품질을 보고, 테이블 · 컬럼 · 룰 · 결과를 한 검색창에서 찾습니다.
우리 데이터, AI 학습에 바로 쓸 수 있을까요
품질 진단은 값이 규칙에 맞는지를 봅니다. AI 에는 그 밖의 문제, 곧 깨진 글자 · 보이지 않는 문자 · HTML 찌꺼기 · 제각각인 빈 값 표기 · 개인정보 · 중복이 더 큰 걸림돌입니다. DQube 는 이 문제를 DB 와 파일 양쪽에서 찾고 고치며, 낯선 파일은 탐색적 데이터 분석으로 먼저 살펴볼 수 있습니다. 세 기능 모두 결과를 PDF 보고서로 냅니다.
DB AI Readiness 진단
- 품질 진단이 빼던 긴 텍스트 컬럼까지 포함해 점검
- 분야별 점수 · 등급 분포 · 문제 유형 · 히트맵 · 회차별 추이
- 여러 작업자로 나눠 읽고, 진행 표시와 중지 지원
- 원본 값은 저장하지 않고 개인정보를 가린 예시만 보관
- 심각도 높음 · 보통인 문제만 종합 점수에 반영, 열 전체가 개인정보면 '개인정보 열'로 분리
- 우선 정제 대상과 테이블별 점검 결과를 담은 분석결과 보고서
AI-Ready Data 정제
- CSV · 엑셀의 인코딩 · 구분자를 알아서 판별
- 8개 분야 40여 개 항목 점검, 문제 없는 행 비율로 점수
- 무엇이 문제인지 · 왜 AI 에 문제인지 · 어떻게 고칠지 안내
- 정제 파일(CSV · JSONL · 엑셀) · 보고서 · 데이터 카드 · 메타데이터
- 정제 전후 점수와 항목별 기준 · 진단 · 개선 · 예시를 담은 정제결과 보고서
탐색적 데이터 분석
- CSV · TXT · 엑셀, 최대 500MB(엑셀 200MB) · 100만 행까지 분석
- 열 형식 판단, 분포, 날짜 패턴, 표기 형식, 개인정보 의심 열
- 연관도 행렬 · 산점도 · 교차표와 업무규칙 후보
- 꼭 알아야 할 점을 쉬운 문장의 핵심 발견으로 정리
- 화면의 모든 분석 결과를 담은 분석결과 보고서
DB AI Readiness 진단 · AI-Ready Data 정제 점검 기준 : 행정안전부 · NIA 「공공데이터의 인공지능 친화적 관리 가이드라인」, NIA 「AI 데이터 품질관리 가이드라인」, 개인정보보호위원회 「가명정보 처리 가이드라인」
처음 받은 데이터, 파일만 올리면 특성과 관계가 보입니다
CSV · 엑셀 파일을 올리면 열마다 어떤 값이 어떻게 들어 있는지, 열 사이에 어떤 관계가 있는지를 그림과 쉬운 문장으로 보여 줍니다. 품질 규칙을 정하기 전에, AI 학습에 쓰기 전에 데이터를 먼저 이해하는 단계입니다.
열 형식
정수 · 실수 · 날짜 · 일시 · 코드 · 범주 · 식별값 · 자유 텍스트를 값으로 판단합니다. 날짜 형식과 소수 자리, 천 단위 쉼표까지 알아봅니다.
채움 · 고유값
빈 값 · 고유값 · 한 번만 나온 값 · 가장 많은 값 · 고른 정도를 보고, 후보 키가 될 열을 찾습니다.
분포
히스토그램 · 상자 그림 · 분위수 · 왜도 · 첨도와 0 · 음수 · 극단값, 9999 같은 특수값을 보여 줍니다.
날짜 패턴
기간과 연 · 월 · 요일 · 시각별 건수, 계절성을 보고 미래 날짜나 1900년 이전 날짜를 찾습니다.
표기 · 글자
표기 형식(9999-99-99 등) · 길이 · 글자 구성, 앞뒤 공백 · 보이지 않는 글자 · 대소문자만 다른 값을 찾습니다.
개인정보 의심 열
주민번호 · 휴대전화 · 이메일 · 카드 · 계좌 · 주소 · 이름으로 의심되는 열을 알려 주고, 예시 값은 일부를 가립니다.
열 사이 관계
피어슨 · 순위 상관 · 크래머 V · 상관비로 연관도 행렬을 그리고 산점도 · 교차표 · 범주별 상자 그림으로 관계를 봅니다.
업무규칙 후보
합계 · 곱 · 비율 · 순서(시작일 ≤ 종료일) · 종속(코드 → 이름) 규칙을 찾아 성립률과 어긋난 행을 보여 줍니다.
데이터 전체
똑같은 행 · 결측 지도 · 늘 함께 비는 열 · 함께 움직이는 열 묶음 · 분포를 가르는 열을 한눈에 봅니다.
DB 가 40개여도, 늦거나 멈춘 DB 만 골라 봅니다
기관 담당부서가 DB 담당자들이 룰 세팅과 진단을 계획대로 하고 있는지 계속 살필 수 있게 만든 기능입니다.
- 매일 자동 기록 : 매일 새벽 DB 마다 룰 세팅 · 진단 수치를 남기고, 서버가 꺼져 있던 날은 켜질 때 보충합니다.
- 목표와 계획선 : 공통 목표와 DB 별 목표(시작일 · 기한 · 목표율)를 정하면 날짜별 계획선이 그려집니다.
- 다섯 단계 판정 : 계획 대비 진척 · 최근 작업 · 실패 · 세팅 품질을 보고 완료 · 정상 · 주의 · 지연 · 미착수로 판정합니다.
- 진행 요청 · 답변 : 늦은 DB 의 담당자에게 요청을 보내고 답변을 이력으로 남깁니다.
- 보고서 · 조회 전용 권한 : 진행 현황 보고서를 PDF 로 매주 받고, 담당부서는 모든 DB 를 조회만 하는 권한으로 씁니다.
| DB (예시) | 룰 세팅 | 진단 수행 | 판정 |
|---|---|---|---|
| 인사 DB | 100% | 100% | 완료 |
| 회계 DB | 82% | 64% | 정상 |
| 민원 DB | 47% | 20% | 주의 |
| 시설 DB | 15% | 0% | 지연 |
| 통계 DB | 0% | 0% | 미착수 |
진단 뒤의 운영과 매일 쓰는 화면까지 챙겼습니다
활용도 점수
DB 마다 정기 진단 · 진단 범위 · 오류 조치 · 품질 수준 · 품질 개선을 매달 100점 만점으로 매기고, S ~ D 등급으로 1년간 쌓습니다.
진단 모니터링
대기 · 진행 중인 진단을 보고 멈출 수 있으며, 자동진단 기록과 진단별 SQL · 결과 로그로 느리거나 실패한 원인을 찾습니다.
SQL 조회
허용받은 담당자가 원천 DB 에 SELECT 문을 실행해 오류 데이터의 앞뒤 사정을 바로 확인합니다.
화면 편의
다크 · 라이트 화면 모드, 그리드 열 고정을 제공하고, COLUMN 진단에서는 컬럼과 룰 그리드의 글자 크기를 함께 조절합니다.
화면 도움말 · 상태 안내
화면 제목 옆 ? 로 그 화면의 매뉴얼을 열고, 맨 아래 상태 표시줄이 저장 결과 · 오류 · 다음 할 일을 알려 줍니다.
게시판 · FAQ · 자료실
기본 FAQ 와 공식 문서가 설치와 함께 등록되어 폐쇄망에서도 바로 찾아보고, 게시판으로 담당자끼리 소통합니다.
접속 현황 · 접속 통계
지금 접속한 사용자를 보고 필요하면 접속을 끊을 수 있으며, 로그인 · 실패 기록을 통계로 봅니다.
작업 · 기준정보 변경 이력
누가 언제 무엇을 했는지와 룰 같은 기준정보가 어떻게 바뀌었는지를 이력으로 남깁니다.
백업 / 복구
진단 환경과 결과를 테이블 단위로 골라 백업하고, 필요할 때 복구합니다.
DQube WEB 을 다르게 만드는 여섯 가지
설치는 서버 한 대, 사용은 브라우저
사용자 PC 에 프로그램을 깔지 않습니다. 담당 DB 별 권한과 권한 그룹으로 여러 부서가 함께 씁니다.
자동진단으로 줄이는 준비 시간
룰 추천과 자동진단이 반복 작업을 맡고, 사람은 결과 확인과 예외 판단을 합니다.
진단 · 개선 · 재진단이 하나의 고리
오류 배정부터 재진단 확인까지 이력이 남아 개선 성과를 숫자로 보여 줄 수 있습니다.
담당부서를 위한 진행 관리
DB 가 많은 기관도 판정과 걸러 보기로 늦은 곳만 챙기고, 요청과 답변을 기록합니다.
공공 가이드라인 기준의 AI 데이터 점검
품질 진단과 같은 프로그램에서 AI 학습용 데이터 준비 수준을 점검 · 정제하고, 파일의 특성까지 탐색합니다.
기관 보안 환경에 맞춘 운영
폐쇄망 설치, LDAP 로그인, 오류 데이터 마스킹, 작업 · 변경 이력과 접속 통계를 갖췄습니다.
누가 쓰든, 품질 관리가 계속 돌아가는 구조
품질 수준을 숫자로
- 지표별 품질과 목표 달성 여부를 정기 보고서로 확인
- 품질 추이로 투자 효과를 설명
진행을 놓치지 않음
- 늦은 DB 를 판정으로 바로 확인
- 요청 · 답변 이력으로 독려와 근거를 함께
반복 작업은 줄이고
- 룰 추천 · 자동진단으로 준비 시간 단축
- 오류 데이터와 수정 대상 SQL 로 바로 조치
믿고 쓰는 데이터
- 개방 전 개인정보 노출 점검
- AI 학습 전 데이터 준비 수준 확인과 정제
증적이 쌓임
- 증적용 보고서 양식으로 제출 자료 작성
- 진단 · 조치 이력이 서버에 남음
표준 준수 상시 점검
- 표준 단어 · 용어 · 도메인 위반을 수집 정보로 확인
- 표준화 현황보고서 PDF
운영 DB 에 가볍게
- 표준 · 구조 점검은 원천 재접속 없이
- 진단은 스케쥴로 한가한 시간에
담당자가 바뀌어도
- 룰 · 예외 사유 · 조치 기록이 서버에 그대로
- 도움말과 FAQ 로 새 담당자도 바로 시작
일반적인 진단 방식과 비교해 보세요
| 구분 | 일반적인 진단 방식 | DQube WEB |
|---|---|---|
| 사용 방식 | 담당자 PC 에 설치하는 프로그램 중심, 결과가 PC 마다 흩어짐 | 서버 한 대 설치 후 브라우저로 다중 사용자 접속, 결과는 서버에 모임 |
| 룰 세팅 | 컬럼마다 사람이 룰을 정하고 진단 뒤 손으로 보정 | 도메인 자동매핑 · 단계별 규칙 추천 · 도메인 후보 점수, 자동진단의 룰 보정 재진단 |
| 진행 관리 | 진척을 메일 · 엑셀로 따로 취합 | DB 별 매일 진척 기록, 계획선 대비 5단계 판정, 진행 요청 · 답변, 주간 보고서 |
| 개선 확인 | 진단 결과 제출로 마무리, 조치 여부는 별도 관리 | 배정 → 조치 기록 → 재진단 확인으로 개선 전후 오류율이 남음 |
| 표준 · 구조 | 별도 도구나 수작업 점검 | 수집 정보로 표준 준수 · 구조 점검, 표준화 현황보고서 PDF |
| AI 데이터 | 품질 진단 범위 밖 | DB AI Readiness 진단 · AI-Ready Data 정제(공공 가이드라인 기준), 탐색적 데이터 분석과 PDF 보고서 |
| 공공 특화 | 개방 데이터 점검은 별도 작업 | 개방 대상 지정과 개인정보 노출 점검, 종합 보고서에 함께 수록 |
| 전환 | 기존 결과를 새로 입력 | 기존 진단 도구의 결과보고서를 가져와 제외 사유 · 룰 · 업무규칙 · 참조를 이어받음 |
비교는 특정 제품이 아닌, 기관에서 흔히 쓰는 진단 방식을 기준으로 정리했습니다.
DQube WEB 을 선택해야 하는 다섯 가지 이유
바로 시작
설치 후 DB 접속만 등록하면 자동진단으로 첫 결과를 빠르게 얻습니다.
기관 전체 관리
DB 담당자와 담당부서가 같은 화면, 같은 기준으로 일합니다.
끝까지 확인
진단에서 그치지 않고 개선과 재진단 확인, 품질 추이까지 이어집니다.
공공 기준
공공데이터 품질관리 지표, 표준화, 개방데이터, AI 가이드라인을 반영했습니다.
쉬운 전환
기존 진단 결과를 가져오고, 화면마다 도움말로 사용법을 바로 봅니다.
지원 DBMS
설치 · 운영
- Windows · Linux 설치본, 컨테이너 배포
- Java · DB 를 함께 담아 폐쇄망에 설치
- 백업 · 복구, 외부 연계 API
보안 · 권한
- 담당 DB 권한 · 권한 그룹 · 조회 전용 권한
- LDAP 로그인, 로그인 보안 정책
- 오류 데이터 마스킹, 작업 · 변경 이력
도입 상담 · 시연 문의
기관 환경에 맞춘 설치와 시범 진단을 안내해 드립니다.
