레드팀은 해커처럼 생각하여 AI를 안전하게 유지합니다.

Date:

빨간색 자물쇠를 보여주는 그림

레드팀은 해커처럼 생각하여 AI를 안전하게 유지합니다.

수잔나 레이 지음

(() => {
$iframe, $closeBtn을 사용하세요.
const $player = document.getElementById(‘player-66a1250a94567’) ;
const $playerPlayBtn = document.getElementById(‘player-btn-66a1250a94567’) ;
const $playerPlayTitleBtn = document.getElementById(‘플레이어 제목 버튼 66a1250a94567’) ;
const $playerText = document.getElementById(‘플레이어 텍스트 66a1250a94567’) ;
함수 onKeyDown(e) {
if (문서.활성요소 !== $closeBtn) {
$iframe.포커스() ;
}
}
함수 initIframe(e) {
$iframe = document.createElement(‘iframe’) ;
$iframe.스타일.상단 = 0;
$iframe.스타일.왼쪽 = 0;
$iframe.style.position = ‘절대’ ;
$iframe.style.width = ‘100%’ ;
$iframe.style.height = ‘100%’ ;
$iframe.setAttribute(‘프레임테두리’, 0 );
$iframe.setAttribute(‘tabindex’, 1 );
$iframe.setAttribute(‘허용’, ‘자동재생; 전체화면’ ) ;
$iframe.setAttribute(‘title’, ‘레드팀은 해커처럼 생각해서 AI를 안전하게 보호합니다.’)
$iframe.setAttribute(‘src’, ‘https://www.youtube-nocookie.com/embed/?autoplay=1&autohide=1&fs=1&modestbranding=1&showinfo=0&controls=2&autoplay=1&rel=0&theme=light&vq=hd720’) ;
$closeBtn = $player.querySelector(‘[data-close-player]’) ;
$player.insertBefore($iframe, $closeBtn);
$player.removeEventListener(‘클릭’, initIframe) ;
$playerText.style.display = ‘없음’ ;
$player.style.display = ‘블록’ ;
document.addEventListener(‘keyup’, onKeyDown) ;
setTimeout(()=>{
$iframe.포커스() ;
$iframe.클릭() ;
setTimeout(()=>{
$iframe.포커스() ;
$iframe.클릭() ;
$closeBtn.setAttribute(‘tabindex’, 1) ;
}, 1000 );
}, 1000 );
함수 closePlayer() {
$closeBtn.removeEventListener(‘클릭’, 플레이어 닫기) ;
$player.removeChild($iframe) ;
$player.style.display = ‘없음’ ;
$closeBtn.style.display = ‘없음’ ;
$playerText.style.removeProperty(‘디스플레이’) ;
$closeBtn.setAttribute(‘tabindex’, -1) ;
document.removeEventListener(‘keyup’, onKeyDown) ;
$playerPlayBtn.focus();// 비디오를 시작한 버튼으로 다시 포커스를 돌립니다.
}
$closeBtn.addEventListener(‘클릭’, 플레이어 닫기) ;
$closeBtn.style.display = ‘블록’ ;
}
$playerPlayBtn && $playerPlayBtn.addEventListener(‘클릭’, initIframe) ;
$playerPlayTitleBtn && $playerPlayTitleBtn.addEventListener(‘클릭’, initIframe) ;
})();

ChatGPT와 Copilot과 같은 AI 도구가 전 세계 다양한 역할에서 사람들이 일하는 방식을 변화시킨 것처럼, 해커처럼 생각하여 기술을 안전하고 보안적으로 유지하는 것을 목표로 하는 사이버 보안 전문가 그룹인 소위 레드팀도 재편되었습니다.

생성 AI는 여러 언어로 대화적으로 소통하고, 스토리를 쓰고, 심지어 사실적인 이미지를 만드는 능력을 가지고 있으며, 편향되거나 부정확한 결과를 제공하는 것부터 악의를 가진 사람들에게 불화를 조장할 새로운 방법을 제공하는 것까지 새로운 잠재적 위험을 안고 있습니다. 이러한 위험은 Microsoft의 AI Red Team이 잠재적인 피해를 식별하고 줄이기 위해 노력하는 방식에 대한 새롭고 광범위한 접근 방식을 촉진했습니다.

Microsoft의 AI Red Team을 이끄는 Ram Shankar Siva Kumar는 “보안, 책임 있는 AI, 그리고 AI 안전에 대한 더 광범위한 개념은 같은 동전의 다른 측면이라고 생각합니다.”라고 말합니다. “AI 시스템이 고객의 손에 닿기 전에 모든 위험을 보편적이고 원스톱으로 살펴보는 것이 중요합니다. 이는 엄청난 사회기술적 영향을 미칠 분야이기 때문입니다.”

“레드 팀”이라는 용어는 냉전 당시 미국 국방부가 소련을 대신하는 레드 팀과 미국과 동맹국을 대신하는 블루 팀으로 시뮬레이션 훈련을 실시했을 때 만들어졌습니다. 사이버 보안 커뮤니티는 수십 년 전에 이 언어를 채택하여 레드 팀을 만들어 기술을 파괴, 손상 또는 오용하려는 적대자로 행동했습니다. 목표는 문제가 발생하기 전에 잠재적인 피해를 찾아 수정하는 것입니다.

시바 쿠마르가 2019년 마이크로소프트의 AI 레드팀을 구성했을 때, 그는 모든 제품과 서비스에서 그러하듯이 사이버보안 전문가를 모아 취약점을 사전에 찾아내는 기존 모델을 따랐습니다.

동시에, 포러프 푸르사브지는 책임 있는 AI 렌즈에서 새롭고 다른 각도로 회사 전체의 연구자들을 이끌고, 생성 기술이 해로울 수 있는지(의도적으로든 훈련 및 평가 중에 간과된 모델의 체계적 문제로 인해든) 살펴보았습니다. 이는 레드팀이 이전에 겪어야 했던 요소가 아닙니다.

각 그룹은 함께라면 더 강하다는 것을 빨리 깨닫고 신경과학자, 언어학자, 국가 안보 전문가 및 다양한 배경을 가진 수많은 다른 전문가를 추가하여 보안 및 사회적 위험 요소를 공동으로 평가하는 보다 광범위한 레드팀을 구성했습니다.

Microsoft의 AI 윤리 및 엔지니어링 및 연구(Aether) 팀의 수석 프로그램 관리자인 Poursabzi는 “책임 있는 AI 레드 팀을 제대로 구성하려면 광범위한 관점이 필요합니다.”라고 말합니다. 이 팀은 Microsoft의 책임 있는 AI 전체 생태계를 활용하고 생성 AI 기술에 대한 새로운 위험과 장기적 고려 사항을 살펴봅니다.

전담 AI 레드팀은 기술을 구축하는 사람들과 분리되어 있으며 확장된 범위에는 시스템을 강제로 생성하려는 적대자가 포함됩니다. 환각부적절하거나 부정확한 데이터로 인해 유해하거나 불쾌하거나 편향된 결과가 나올 수도 있습니다.

팀원들은 장난을 치는 창의적인 십 대부터 데이터를 훔치려는 알려진 적까지 다양한 페르소나를 맡아 사각지대를 드러내고 위험을 발견합니다. 팀원들은 전 세계에 살고 있으며 플랑드르어에서 몽골어, 텔루구어까지 총 17개 언어를 구사하여 미묘한 문화적 맥락과 지역별 위협에 대처합니다.

그들은 시스템 하나만을 손상시키려고 하는 것이 아니라, 다른 LLM을 자동으로 공격하기 위해 대규모 언어 모델(LLM)을 사용하기도 합니다.

그룹은 또한 오픈 소스 프레임워크를 출시하여 전문성의 깊이를 더욱 넓혔습니다. 카운터핏 생성 AI를 위한 Python 위험 식별 툴킷 또는 당신은 시도올해 초에 회사 외부의 보안 전문가와 머신 러닝 엔지니어가 잠재적 위험을 매핑할 수 있도록 돕기 위해. 이 도구는 제한된 리소스인 전문 레드팀원이 더 효율적이고 생산적으로 일할 수 있도록 도와줍니다. 이 팀은 또한 모범 사례 자신의 경험을 바탕으로 다른 사람들이 시작하도록 돕습니다.

Microsoft의 AI Red Team이 문제를 발견하면, 이를 Responsible AI Measurement Team으로 보내는데, Responsible AI Measurement Team은 문제가 얼마나 위협적인지 평가합니다. 그런 다음 다른 내부 전문가와 그룹이 문제를 해결하여 안전한 AI를 위한 3단계 접근 방식인 매핑, 측정 및 위험 관리를 완료합니다.

“우리의 활동은 우리가 증명하려고 하는 다양한 피해를 포괄합니다.” 시바 쿠마르가 말했습니다. “우리는 빠르게 적응하고 재구성하며, 그것이 우리의 성공을 위한 비결입니다. 변화의 힘이 밀려올 때까지 기다리지 않고 예상하는 것입니다.”

더 알아보기 Microsoft의 책임 있는 AI 작업.

Makeshift Studios / Rocio Galarza의 리드 일러스트레이션. 스토리는 2024년 7월 24일에 게시되었습니다.

Share post:

Subscribe

Popular

More like this
Related

12월23일 정부지원사업 신규 공고 리스트 (12건) _ (파일 재가공/재배포 가능)

12월 23일 12건<12/23지원사업 신규 공고 목록> *전 영업일인 12/20에 올라온...

Waste Robotics와 Greyparrot가 분류 로봇을 강화하는 방법

Waste Robotics는 FANUC 로봇 팔을 사용하여 안정적이고 정확한 피킹을...

2024년 상위 10가지 생물의학 이야기

2024년에는 생체 의학 기술이 실제로 우리 머리, 더 구체적으로...

Sora AI 리뷰: AI가 영상 제작자를 영원히 대체할 수 있을까요?

말로만 고품질 비디오를 만들고 싶었던 적이 있습니까?2024년 2월 OpenAI...