일의 미래 논쟁에는 증거 문제가 있다

에이전트가 얼마나 많은 작업을 흡수할지에 대한 숫자는 부족하지 않습니다. 요원이 작업을 수행하는 것을 관찰하여 얻은 숫자가 상당히 부족합니다.

이 격차는 우연이 아닙니다. 실제 채택을 관찰하는 것은 느리고 지저분하며 조직마다 다르며 노출 추정치를 생성하는 데는 오후가 걸리고 작업 분류가 필요합니다. 그래서 추정치가 먼저 도착했고 그 이후로 이전에는 결코 가질 수 없었던 정확성으로 계속해서 유포되었습니다.

추정치가 실제로 측정하는 것

일반적인 방법은 직업을 취하여 작업으로 분해하고, 모델이 어떤 작업을 그럴듯하게 수행할 수 있는지 판단하고 그 비율을 보고합니다. 그것이 무엇인지에 대한 합리적인 방법입니다. 문제는 번역에서 일어나는 일입니다.

분류법에서 작업은 깨끗한 단위입니다. 직업의 작업은 분류가 폐기된 맥락에 포함되어 있습니다. 누구에게 먼저 물어봐야 하는지, 이번 분기에 어떤 예외가 적용되는지, 클라이언트가 전화로 한 말은 기록에 남지 않았습니다. 분류 버전을 수행할 수 있는 에이전트가 반드시 실제 버전을 건드린 것은 아닙니다.

따라서 노출 점수는 설명된 작업에 대한 설명입니다. 이는 수행된 작업에 대한 설명으로 일상적으로 읽히며 이는 다른 주장입니다.

빠져있는 부분

우리가 함께 일하는 조직에서 가장 큰 노력은 상담원이 수행하는 작업이 아닙니다. 그것은 주변의 모든 것입니다.

어떤 작업을 넘겨도 안전한지 결정합니다. 에이전트를 소유한 사람을 설정합니다. 점수를 매길 만큼 정확하게 좋은 결과가 무엇인지 정의합니다. 검토 단계를 구축합니다. 3주 후에 에이전트가 조용히 거의 옳은 일을 하고 있다는 것을 알게 되었습니다.

노출 추정치에는 그 어느 것도 나타나지 않으며, 이 모든 것이 노출이 어떤 것으로 변환되는지 여부를 결정합니다. 이것이 채택 곡선이 예측과 전혀 다르게 보이는 이유입니다. 병목 현상은 결코 모델 기능이 아니기 때문입니다.

대신 측정할 항목

에이전트 채택을 정직하게 측정하는 것은 더 어렵고 할당 가능성도 낮지만 가능합니다. 이렇게 생겼습니다.

• 역량이 아닌 결과를 추적하세요. "에이전트가 이를 수행할 수 있다"가 아니라 "이 작업을 수행했으며 재작업 없이 출력이 승인되었습니다"입니다.
• 리뷰를 계산해 보세요. 인간이 모든 출력물을주의 깊게 읽으면 작품이 사라지지 않고 움직였습니다. 그것은 여전히 ​​​​변화이지만 다른 것입니다.
• 고아들을 따라가세요. 목적이 종료된 후 몇 달 동안 운영되는 에이전트는 실제 비용이자 거버넌스에 대한 신호입니다.
• 조직별로가 아닌 상담원별로 측정하세요. 총 수치를 보면 일반적으로 40명의 상담원 중 2명이 유용한 작업의 대부분을 수행한다는 사실이 숨겨집니다.
• 실패를 보고합니다. 성공만을 계산하는 채택 연구는 아무도 일하지 않는 세상을 설명합니다.

이것이 정확성보다 중요한 이유

잘못된 추정은 단순히 잘못된 것이 아니라 비용도 많이 듭니다. 기능의 60%가 자동화 가능하다고 믿는 리더십 팀은 이를 계획한 다음 작업과 직업의 차이를 발견하는 데 1년을 보낼 것입니다. 아무것도 자동화할 수 없다고 생각하는 팀은 상담원이 실제로 일주일에서 몇 시간을 제거하는 좁은 사례를 놓칠 것입니다.

두 오류 모두 같은 곳에서 발생합니다. 즉, 계획을 세울 수 있을 만큼 구체적으로 들리는 숫자이며, 결코 그러한 구체적이 가능하지 않은 방법으로 생성된 것입니다.

이에 대해 우리가 하고 있는 일

Yaju Labs는 조직이 실제로 에이전트를 생성, 사용, 관리 및 개선하는 방법을 연구합니다. 즉, 노출 추정치가 건너뛰는 운영 계층을 관찰하는 것입니다. 깨끗한 서술을 뒷받침하지 않는 부분을 포함하여 우리가 찾은 내용을 게시합니다.

다른 예측을 생성하는 것보다 작업 속도가 느립니다. 일어난 일을 설명할 수 있다는 장점도 있습니다.

다음

Future of Work 페이지에서는 우리가 연구하는 4가지 영역과 에이전트 구축과 운영 사이의 격차가 실제 주제인 이유를 다룹니다. 해당 작업에 대해 읽기보다는 직접 참여하고 싶다면 Open Development Community에 무료로 가입할 수 있습니다.