팩트챗 관리자/보안/사용자 보호 (자해 위험 감지)

사용자 보호 (자해 위험 감지)

사용자 보호는 사용자가 채팅에 입력한 메시지에서 자해·자살 위험 신호를 감지해, 그 자리에서 상담 창구를 안내하는 기능입니다. 위험 수준에 따라 대화를 중단시키거나 관리자에게 이메일로 알릴 수 있습니다.

이 기능은 위험 신호를 알아채고 상담 자원으로 연결하기 위한 것이지, 진단이 아닙니다. 감지 결과는 임상적 판단이 아니라 메시지 내용에 대한 분류이며, 실제 상태 확인과 대응은 학교·기관의 상담 절차에 따라 사람이 판단해야 합니다.

개요

항목	내용
검사 대상	사용자가 입력한 메시지만 검사합니다. AI가 생성한 답변은 검사 대상이 아닙니다
감지 시점	메시지를 보낸 직후, 답변 생성 전에 판정합니다
사용자 대응	위험 수준별 안내 문구와 상담 연락처를 대화 화면에 표시합니다
관리자 대응	설정한 수준에서 관리자에게 이메일을 보내고, 감사 로그에 기록을 남깁니다
설정 위치	관리자 → 보안 설정 → 의도 기반 차단 탭 안의 사용자 보호 섹션

위험 수준

위험 수준은 세 단계입니다. 임상 현장에서 쓰는 기준(C-SSRS 한국판, ASQ, 국내 게이트키퍼 매뉴얼의 3단계)에 맞춰 정의했습니다.

수준을 가르는 기준은 표현이 얼마나 절박한지가 아닙니다. 두 가지 경계만 봅니다.

관심(L1) ↔ 주의(L2) — 죽음이나 자해가 말에 등장했는가
주의(L2) ↔ 긴급(L3) — 방법·계획·준비로 넘어갔는가

수준	라벨	기준	예시
L1	관심	우울·무기력·절망감·자기비하 같은 정서적 고통. 죽음이나 자해에 대한 언급은 없음	"요즘 아무것도 못 하겠고 내가 쓸모없게 느껴져요"
L2	주의	죽음·소멸·자해가 언급되지만 구체적인 방법이나 계획은 없음. 본인의 과거 자해·자살 시도 언급 포함	"그냥 사라지고 싶어요", "예전에 자해한 적 있어요"
L3	긴급	방법을 묻거나, 시기·장소·방법이 구체적이거나, 도구를 준비했거나, 실행이 임박한 경우	"이번 주말에 하려고요", "○○ 방법 알려주세요"

아무리 절망적인 표현이라도 죽음·자해 언급이 없으면 L1입니다.
과거 시도만 언급하면 L2, 과거 시도가 현재의 죽음 소망·자해 충동과 함께 나오면 L3으로 올라갑니다.
친구 이야기처럼 말했더라도 본인의 상태임이 드러나면(예: "친구 얘긴데 사실 나야") 본인 기준으로 판정합니다.
판단이 애매하면 낮은 수준을 택하되, 위 두 경계가 분명히 충족되면 상위 수준으로 올립니다.

사용자에게 보이는 화면

수준이 감지되면 사용자에게는 그 수준에 맞는 안내가 대화 화면에 표시됩니다. 안내에는 24시간 상담 창구가 함께 나옵니다.

창구	번호	안내
자살예방상담	109	24시간, 가장 긴급한 창구
청소년상담	1388	전화·문자(`#1388`)·카카오톡
생명의전화	1577-0199	24시간 위기상담

관심(L1) — 짧은 위로 문구와 상담 안내 링크를 보여주고, 대화는 그대로 이어집니다.
주의(L2) — 상담 창구를 안내하는 카드가 표시됩니다.
긴급(L3) — 상담 창구와 함께 긴급 시 112·119로 즉시 연락하라는 안내가 표시됩니다.

해당 수준에 대화 차단이 켜져 있으면 안내만 표시되고 그 메시지에 대한 AI 답변은 생성되지 않습니다. 사용자에게는 "안전을 위해 일반 답변 대신 안내를 드려요"라는 문구가 함께 보입니다. 차단이 꺼져 있으면 안내가 먼저 표시된 뒤 평소대로 답변이 이어집니다.

관리자 설정

보안 설정 → 의도 기반 차단 → 사용자 보호에서 켜고 끕니다. 수준마다 대화 차단과 관리자 이메일 알림을 각각 따로 켤 수 있습니다.

수준	대화 차단 기본값	관리자 이메일 알림 기본값
L1 관심	꺼짐	꺼짐
L2 주의	켜짐	켜짐
L3 긴급	켜짐	켜짐

두 값은 서로 독립적입니다. 예를 들어 L1은 차단하지 않으면서 알림만 받도록 설정할 수 있고, 반대로 차단만 하고 알림은 받지 않도록 할 수도 있습니다.

의도 기반 차단과의 관계

사용자 보호는 의도 기반 차단의 하위 기능입니다. 두 기능이 같은 AI 모델로 한 번에 판정하기 때문입니다.

의도 기반 차단이 꺼져 있으면 사용자 보호를 켤 수 없습니다. 모델을 먼저 지정해야 합니다.
의도 기반 차단을 끄면 사용자 보호도 함께 꺼집니다.
의도 기반 차단을 다시 켜도 사용자 보호는 자동으로 복구되지 않습니다. 다시 켜 주세요.

긴급(L3) 차단을 끄면 자살·자해 방법이나 구체적 계획이 담긴 대화가 그대로 진행됩니다. 특별한 사유가 없다면 차단을 유지하시기 바랍니다.

관리자 알림 메일

알림은 이메일로만 발송됩니다. 인앱 알림이나 문자로는 발송하지 않습니다.

받는 사람

조직의 관리자 계정 전원(활성 상태이고 메일 주소가 등록된 계정)

그룹 관리자 권한만 있고 조직 관리자 권한이 없는 계정에는 발송되지 않습니다. 두 권한을 함께 가진 계정은 받습니다.

메일에 담기는 정보

항목	예시
위험 수준	`L3`
대상 사용자	이름과 이메일
차단 여부	`차단됨 (대화 종료)` 또는 `허용 (경고만 표시)`
감지 시각	`2026-08-24 16:44:00 KST`
감사 로그 링크	해당 사용자의 그날 감지 기록만 필터링된 감사 로그로 이동하는 버튼

알림 메일에는 대화 내용이 들어가지 않습니다. 위험 신호에 대응하는 데 필요한 최소한의 정보만 담는다는 원칙에 따른 것입니다. 대화 내용은 메일이 아니라 감사 로그에서, 조직이 허용한 범위 안에서만 확인합니다.

메일이 발송되려면 조직의 SMTP(메일 발송) 설정이 되어 있어야 합니다. 설정되어 있지 않으면 메일은 발송되지 않고 감지 기록만 남습니다.

감사 로그와 대화 내용 공개 범위

감지된 기록은 모두 감사 로그에 남습니다. 차단된 경우와 감지만 된 경우 모두 기록됩니다.

이벤트 유형: 사용자 보호
콘텐츠 필터 결과: 자해 위험 차단 (차단된 경우) 또는 자해 위험 감지 (허용된 경우)
감사 로그 필터에서 이벤트 유형을 사용자 보호로 지정하면 감지 이력만 모아서 볼 수 있고, CSV로 내보낼 수도 있습니다.

대화 내용이 보이지 않는 이유

감사 로그에서 대화 본문을 볼 수 있는지는 조직의 대화 관리 권한 설정에 달려 있습니다. 이 권한이 꺼져 있는 조직에서는 관리자에게도 본문이 비공개 처리됨으로 표시됩니다. 이는 오류가 아니라 개인정보 보호를 위한 기본 동작입니다.

권한이 꺼져 있어도 다음 정보는 그대로 확인할 수 있습니다.

확인 가능	비공개
대상 사용자 이름·이메일·소속 그룹
위험 수준
차단 여부	대화 본문
발생 시각
접속 채널·IP 주소

대응에 필요한 "누가 · 언제 · 어느 수준"은 모두 남고, 본문만 가려집니다. 조직 차원에서 본문 열람이 필요하다면 개인정보 처리 방침을 검토한 뒤 담당 영업·지원 담당자에게 문의해 주세요.

적용 범위와 한계

다음 경로에서는 감지가 동작하지 않습니다.

제외 대상	이유
공개 챗봇(로그인 없이 공개 링크로 접속하는 대화)	대화한 사람을 특정할 수 없어, 위험 신호가 엉뚱한 계정에 기록될 수 있습니다
무료 저사양 모델로 진행되는 대화	감지 판정 자체가 크레딧을 사용하므로 무료 대화에는 적용하지 않습니다
게이트웨이 API(OpenAI 호환) 요청	의도 기반 차단과 마찬가지로 이 경로는 대상이 아닙니다

그 밖에도 다음 사항을 함께 안내드립니다.

검사 대상은 사용자가 입력한 메시지입니다. AI가 생성한 답변에 대한 검사는 제공하지 않습니다.
판정은 AI 모델이 수행하므로 놓치거나(미탐지) 과하게 잡는(오탐지) 경우가 있을 수 있습니다. 감지 결과를 유일한 근거로 삼지 말고 기관의 상담 절차와 함께 운영해 주세요.
감지 판정에는 의도 기반 차단과 동일한 모델이 사용되며, 메시지마다 크레딧이 소모됩니다.

마지막 수정 날짜: Aug 24, 2026

2단계 인증 (OTP)