의견 흥미로운 IBM Neurips 2024 제출 2024 년 말부터 지난주 Arxiv에 재 포장. 이는 사용자가 대규모 언어 모델 (LLM)과 대화 할 때 사용자가 개인 정보 또는 민감한 정보를 메시지에 제출하지 않도록 자동으로 개입 할 수있는 시스템을 제안합니다. chatgpt.
사용자 연구에 사용 된 모형 사례는 사람들이 프롬프트 개입 서비스와 상호 작용하는 것을 선호하는 방법을 결정합니다. 출처 : https://arxiv.org/pdf/2502.18509
위에서 표시된 모형은 IBM 연구원들이 이러한 종류의 ‘간섭’에 대한 잠재적 인 사용자 마찰을 테스트하기위한 연구에서 사용되었습니다.
GUI 구현에 대한 세부 사항이 주어 지지만 이러한 기능이 브라우저 플러그인에 통합 될 수 있다고 가정 할 수 있습니다. 의사 소통 로컬 ‘방화벽’LLM 프레임 워크와 함께; 또는 OpenAI API에 직접 연결될 수있는 응용 프로그램이 생성되어 OpenAI의 자체 다운로드 가능성을 효과적으로 재현 할 수 있습니다. 독립형 프로그램 chatgpt의 경우에는 추가 보호 수단이 있습니다.
즉, Chatgpt 자체는 은행 세부 사항과 같은 중요한 정보를 포함한다고 인식하는 프롬프트에 대한 응답을 자동으로 자체 검증합니다.
Chatgpt는 은행 세부 사항과 같은 인식 된 중요한 보안 정보가 포함 된 프롬프트에 참여하는 것을 거부합니다 (위의 프롬프트의 세부 사항은 허구적이고 기능적이지 않습니다). 출처 : https://chatgpt.com/
그러나 Chatgpt는 다양한 유형의 개인 정보와 관련하여 훨씬 더 견딜 수 있습니다. 어떤 방식 으로든 그러한 정보를 유포하는 경우에도 사용자의 최선의 이익에 있지 않더라도 (이 경우 작업 및 공개와 관련된 여러 가지 이유로) :
위의 예는 허구이지만, Chatgpt는 잠재적 인 평판 또는 수입 위험을 구성하는 민감한 주제에 대해 사용자와 대화하는 것을 망설이지 않습니다 (위의 예는 완전히 허구입니다).
위의 경우 다음을 작성하는 것이 더 낫을 수도 있습니다. ‘백혈병 진단이 개인의 글쓰기 능력과 이동성에 대한 중요성은 무엇입니까?’
IBM 프로젝트는 그러한 요청을 ‘개인’에서 ‘일반적인’자세로 식별하고 재 해석합니다.
로컬 LLM 또는 NLP 기반 휴리스틱을 사용하여 잠재적 프롬프트에서 민감한 재료를 식별하는 IBM 시스템의 스키마.
이것은 AI 채팅에 대한 열정적 인 채택의 초기 단계에서 온라인 LLM에 의해 수집 된 자료가 후속 모델이나 나중에 사용자 기반 검색 쿼리를 이용하여 잠재력을 제공 할 수있는 광고 프레임 워크에 공급되지 않는다고 가정합니다. 대상 광고.
그러한 시스템이나 배열이 현재 존재하는 것으로 알려져 있지는 않지만, 그러한 기능은 1990 년대 초 인터넷 채택에서 이용할 수 없었습니다. 그 이후로 정보의 크로스 도메인 공유 개인화 된 광고를 공급하기 위해 이어졌습니다 다양한 스캔들게다가 편집병.
따라서 히스토리는 이러한 데이터가 볼륨에 발생하기 전에 LLM 프롬프트 입력을 소독하는 것이 더 나을 것이며, LLM 기반 제출이 영구 주기적 데이터베이스 및/또는 모델 또는 기타 정보 기반 구조 및 스키마에서 끝나기 전에 지금은 LLM 프롬프트 입력을 소독하는 것이 좋습니다.
나를 기억하십니까?
‘일반적인’또는 소독화 된 LLM 프롬프트의 사용에 대한 한 가지 요소는 솔직히 말해서 Chatgpt와 같은 비싼 API-Only LLM을 사용자 정의하는 시설이 최소한 현재의 최신 기술에서 매우 매력적이지만 개인 정보의 장기 노출을 포함 할 수 있다는 것입니다.
나는 종종 Chatgpt에게 Windows PowerShell 스크립트 및 박쥐 파일을 공식화하여 프로세스를 자동화하여 다른 기술 문제에 대해 요청합니다. 이를 위해 시스템이 내가 사용할 수있는 하드웨어에 대한 세부 사항을 영구적으로 암기한다는 것이 유용하다는 것을 알았습니다. 나의 기존 기술 기술 역량 (또는 그 부족); 그리고 다양한 기타 환경 요소 및 맞춤 규칙 :
ChatGpt를 통해 사용자는 시스템이 미래의 프롬프트에 대한 응답을 고려할 때 적용될 추억의 ‘캐시’를 개발할 수 있습니다.
필연적으로, 이것은 OpenAI (다른 주요 LLM 제공 업체가 될 수 있지만)가 보장하지 않고 시간이 지남에 따라 진화 할 수있는 이용 약관에 따라 외부 서버에 저장된 정보를 유지합니다. 그들이 설정 한 용어를 존중하십시오.
그러나 일반적으로 Chatgpt에서 기억의 캐시를 구축 할 수있는 능력은 제한된 관심 창 일반적으로 LLMS; 장기적으로 (개인화 된) 임베딩이 없으면 사용자는 실망스럽게 고통받는 실체와 대화하고 있다고 느낍니다. Anterograde 기억 상실.
새로운 모델이 메모리를 캐시 할 필요없이 유용한 응답을 제공하기 위해 최신 모델이 적절하게 수행 될지 또는 맞춤 GPT를 만듭니다 온라인으로 저장됩니다.
임시 기억 상실증
chatgpt 대화를 ‘일시적으로’만들 수는 있지만 시간이 허용 할 때 더 일관된 로컬 레코드, 아마도 메모 작성 플랫폼에서 증류 할 수있는 참조로 채팅 기록을 갖는 것이 유용합니다. 그러나 어쨌든 우리는이 ‘폐기 된’채팅에 어떤 일이 일어나는지 정확히 알 수 없습니다 (OpenAi) 주 Chatgpt 인프라에 근거하여 훈련에 사용되지 않으며, 파괴되었다고 말하지는 않습니다). 우리가 아는 것은 ‘임시 채팅’이 Chatgpt에서 켜지면 채팅이 더 이상 역사에 나타나지 않는다는 것입니다.
최근의 다양한 논란은 OpenAI와 같은 API 기반 제공 업체가 반드시 발견 된 발견을 포함하여 사용자의 개인 정보를 보호하는 책임을지지 않아야한다고합니다. 출현 암기더 큰 LLM이 일부 훈련 사례를 완전히 암기 할 가능성이 높다는 것을 의미하고 사용자 별 데이터의 공개 -많은 대형 회사를 설득 한 다른 공공 사건들 중에서 삼성과 같은에게 내부 회사 사용을위한 금지.
다르게 생각하십시오
극단적 인 유틸리티와 LLM의 매니페스트 잠재적 위험 사이의 이러한 긴장은 몇 가지 독창적 인 솔루션이 필요합니다. IBM 제안은이 라인에서 흥미로운 기본 템플릿 인 것 같습니다.
유틸리티를 데이터 개인 정보 보호와 균형을 이루는 3 가지 IBM 기반 개혁. 가장 낮은 (분홍색) 밴드에서는 의미있는 방식으로 소독 할 수있는 시스템의 능력을 넘어서는 프롬프트가 있습니다.
IBM 접근 방식은 나가는 패킷을 네트워크 수준에서 LLM으로 가로 채고 원본을 제출하기 전에 필요에 따라 다시 작성합니다. 기사의 시작 부분에서 볼 수있는 다소 정교한 GUI 통합은 개발 된 경우 그러한 접근 방식이 어디로 갈 수 있는지에 대해서만 설명합니다.
물론, 충분한 대행사가 없으면 사용자는 원래 제출에 대한 약간 변경된 개혁에 대한 응답을 받고 있다는 것을 이해하지 못할 수 있습니다. 이러한 투명성 부족은 사용자에게 알리지 않고 운영 체제의 방화벽 차단 웹 사이트 또는 서비스에 대한 액세스를 차단하는 것과 같습니다. 그는 문제에 대한 다른 원인을 잘못 찾을 수 있습니다.
보안 부채로 프롬프트
‘신속한 중재’의 전망은 1990 년대 (선택적으로 설치된) 상용 제품의 패치 워크에서 윈도우 설치와 함께 표준으로 제공되는 네트워크 방어 도구의 패치 워크로 발전한 Windows OS 보안과 잘 유사되어 있으며, 끄거나 intensifity를 제거하기 위해 약간의 노력이 필요합니다.
지난 30 년 동안 네트워크 방화벽이했던 것처럼 프롬프트 위생화가 발전하면, IBM Paper의 제안은 미래의 청사진 역할을 할 수 있습니다. 알려진 LLM API를 지시 한 발신 프롬프트를 필터링하기 위해 사용자 시스템에 완전히 로컬 LLM을 배치합니다. 이 시스템은 자연스럽게 GUI 프레임 워크 및 알림을 통합해야하며, 비즈니스 환경에서 종종 발생하는 것처럼 관리 정책이이를 무시하지 않는 한 사용자는 제어 할 수 있습니다.
연구원들은 오픈 소스 버전의 분석을 수행했습니다. sharegpt 실제 프라이버시가 실제 시나리오에서 얼마나 자주 상황에 맞는 지 이해하는 데이터 세트.
LLAMA-3.1-405B- 강조 상황에 맞는 무결성 위반을 감지하기 위해 ‘판사’모델로 사용되었습니다. 많은 대화에서 단일 회전 대화의 하위 집합은 길이에 따라 분석되었습니다. 그런 다음 판사 모델은 컨텍스트, 민감한 정보 및 작업 완료에 대한 필요성을 평가하여 잠재적 인 상황 적 무결성 위반을 포함하는 대화를 식별하게했습니다.
결정적인 상황에 맞는 개인 정보 위반을 보여주는 이러한 대화의 더 작은 하위 집합이 더 분석되었습니다.
프레임 워크 자체는 Chatgpt와 같은 일반적인 채팅 에이전트보다 작은 모델을 사용하여 로컬 배치를 통해 구현되었습니다. 올라마.
신속한 중재 시스템에 대한 스키마.
평가 된 3 개의 LLM이었다 mixtral-8x7b- 비 스트럭 -V0.1; LLAMA-3.1-8B 강조; 그리고 Deepseek-R1-Distill-Llama-8b.
사용자 프롬프트는 프레임 워크에 의해 3 단계로 처리됩니다. 컨텍스트 식별; 민감한 정보 분류; 그리고 개혁.
민감한 정보 분류를 위해 두 가지 접근법이 구현되었습니다. 동적 그리고 구조 분류 : 동적 분류는 특정 대화 내에서의 사용에 따라 필수 세부 사항을 결정합니다. 구조화 된 분류는 항상 필수적이지 않은 것으로 간주되는 사전 정의 된 민감한 속성 목록의 사양을 허용합니다. 모델은 유용성을 유지하면서 개인 정보 보호 위험을 최소화하기 위해이를 제거하거나 다시 표시함으로써 필수적으로 민감한 세부 사항을 감지하면 프롬프트를 재구성합니다.
홈 규칙
개념으로서의 구조화 된 분류는 IBM 논문에서 잘 실망되지는 않지만 이는 ‘개인 데이터 정의’방법과 가장 유사합니다. 개인 프롬프트 IBM 접근 방식이하는 것처럼 네트워크 수준에 직접 개입 할 수는 없지만 프롬프트를 다시 작성할 수있는 다운로드 가능한 독립형 프로그램을 제공하는 이니셔티브. (사용자는 수정 된 프롬프트를 복사하여 붙여 넣어야 함).
개인 프롬프트 실행 파일은 사용자 입력 텍스트에 대한 대체 대체 목록을 허용합니다.
위의 이미지에서는 개인 프롬프트 사용자가 민감한 정보의 경우 자동 대체를 프로그래밍 할 수 있음을 알 수 있습니다. 두 경우 모두 개인 프롬프트와 IBM 방법의 경우 그러한 목록을 큐 레이트 할 수있는 충분한 존재와 개인적인 통찰력을 가진 사용자에게는 실제로이 제품이 필요합니다. 그러나 사건이 발생함에 따라 시간이 지남에 따라 구축 될 수 있습니다.
관리자 역할에서 구조화 된 분류는 직원을위한 장애가있는 방화벽 또는 검열 검열로 작동 할 수 있습니다. 그리고 홈 네트워크에서는 어려운 조정으로 모든 네트워크 사용자를위한 국내 네트워크 필터가 될 수 있습니다. 그러나 궁극적 으로이 방법을 제대로 설정할 수있는 사용자도 처음부터 효과적으로 자체 검열 할 수 있기 때문에이 방법은 논란의 여지가 있습니다.
Chatgpt의 의견
Chatgpt가 최근에 출시 한 이후 깊은 연구 도구 유료 사용자의 경우이 시설을 사용하여 Chatgpt에게 관련 문헌을 검토하고 IBM의 논문에 대한 ‘냉소적’테이크를 제공하도록 요청했습니다. 나는 새로운 출판물을 평가하거나 구문 분석하라는 요청을 받았을 때 시스템이 준 가장 방어적이고 불쾌한 반응을 받았습니다.
ChatGpt-4o는 IBM 프로젝트에 대한 의견이 적습니다.
‘사용자가 OpenAI, Google 또는 Anthropic을 책임감있게 처리 할 수있는 신뢰를 신뢰하지 않는 경우’ chatgpt 제지. ‘왜 그들은 그들과 AI 사이에 앉아있는 타사 소프트웨어 계층을 신뢰합니까? 중개자 자체는 LLM에 도달하기 전에 데이터 로그, 잘못 처리 또는 누출되는 새로운 실패 지점이됩니다. 사용자 데이터를 악용하기 위해 다른 엔티티를 생성하면 아무것도 해결하지 않습니다. ‘
이 반대는 공동 지역 개발자와 기고자들의 공동 장기적인 노력을 통해 최종 사용자에게 진정으로 혜택을주는 오픈 소스 프로젝트의 역사를 고려할 때 자체 서빙 및 적용 할 수없는 것으로 보인다. 그리고 가벼운 LLM을 운영하고 기차 할 수있는 모바일 장치의 잠재력이 증가함에 따라. 확실히이 경우, 유스 케이스는 크게 요구되지 않습니다.
다음으로, Chatgpt는 가벼운 LLM을 가질 수있는 시점을 자신있게 놓친다. LLM이 너무 커서 회사가 회사에 너무 위험하기 때문에 로컬 컴퓨터에서 실행할 수없는 상용 LLM에 대한 입력 감독을 제공한다.
‘효과적인 개인 정보 필터링은 무엇을 제거 해야하는지 결정하기 전에 입력을 이해해야합니다. 중개자가 민감한 데이터 (이름, 주소, 재무 세부 사항)를 인식하기에 충분히 현명한 경우 이미 해당 데이터를 처리하고 분석하고 있습니다.
‘이것은 역설을 소개합니다. b) 스마트 필터 (LLM 기반 재 작성자)는 전체 입력을 처리해야하므로 원래 LLM만큼 위험합니다.
‘입력을 읽고 다시 작성하기에 충분히 중개자를 신뢰한다면 LLM 자체를 신뢰하지 않겠습니까?’
여기서 마지막 질문에 대한 답은 로컬 LLM이 전적으로 사용자의 측면에 있고 필연적으로 네트워크 액세스가 필요하지 않은 오픈 소스에 대한 것입니다. 처음에는 의도적 인 상업용 버전은 결국 기업 교대 및 서비스 약관의 변경에 취약한 반면, 적절한 오픈 소스 라이센스는 이러한 종류의 종류의 ‘피할 수없는 부패’.
Chatgpt는 또한 IBM 제안이 ‘사용자 의도를 깨뜨린다’고 주장했다. 왜냐하면 그것은 유틸리티에 영향을 미치는 대안으로 프롬프트를 재 해석 할 수 있기 때문이다. 그러나 이것은 a입니다 신속한 소독에서 훨씬 더 넓은 문제이 특정 사용 사례에만 국한되지 않습니다.
Chatgpt는 폐쇄 (로컬 LLM ‘대신’대신 ‘대체’를 사용하겠다는 제안을 무시할 때, IBM 논문이 실제로 제안하는 것입니다), Chatgpt는 IBM 메소드가 경고 및 편집 메소드를 채팅에 구현하는 ‘사용자 마찰’으로 인해 채택에 대한 장벽을 나타냅니다.
여기에서 chatgpt가 옳을 수 있습니다. 그러나 더 많은 공공 사건으로 인해 상당한 압력이 가해 지거나 한 지리적 구역의 이익이 규제 증가로 위협을받는다면 영향을받는 지역을 완전히 버리십시오), Consumer Tech의 역사는 보호 수단이 결국 더 이상 선택 사항이 아닙니다 그래도.
결론
우리는 OpenAI가 IBM 용지와 그 뒤에있는 중심 개념에서 제안 된 유형의 보호 조치를 구현할 것을 현실적으로 기대할 수는 없습니다. 적어도 효과적이지 않습니다.
그리고 확실히 전 세계; 애플처럼 블록 유럽의 특정 iPhone 기능과 LinkedIn은 있습니다 다른 규칙 다른 국가에서 사용자의 데이터를 악용하기 위해서는 AI 회사가 필요에 따라 사용자의 데이터 부호에 대한 권리를 희생시키면서 각각 운영되는 특정 국가에 견딜 수있는 가장 수익성있는 이용 약관에 불이행 할 것이라고 제안하는 것이 합리적입니다.
2025 년 2 월 27 일 목요일 처음 출판
2025 년 2 월 27 일 목요일 업데이트 15:47:11 잘못된 Apple 관련 링크-MA
게시물 LLM 데이터 유출로 인한 소모품 먼저 나타났습니다 Unite.ai.
