AI 토큰을 쓸모없는 곳에 낭비하지 마세요

AI 토큰을 쓸모없는 곳에 낭비하지 마세요

제가 AI에 대해 가장 많이 접하는 오해 중 하나는 성공 여부가 더 나은 프롬프트를 작성하는 데 달려 있다는 것입니다.

프롬프트는 분명 중요하지만, AI 프로젝트가 비즈니스 가치를 제공하는지 여부를 결정하는 것은 프롬프트가 아닙니다. 고객들과 협업해 본 경험에 비추어 볼 때, 결정적인 요소는 훨씬 더 간단합니다. 바로 AI에 입력되는 데이터의 품질입니다.

아무리 완벽한 프롬프트를 만들어도, 기본 정보가 오래되었거나, 불완전하거나, 관련성이 없거나, 제대로 관리되지 않으면 결국 형편없는 결과만 얻게 됩니다. 그래서 저는 고객들에게 AI 토큰을 낭비하고 있다고 자주 말씀드립니다. 모든 쿼리는 리소스를 소모하고, 부정확한 응답은 시간, 비용, 그리고 신뢰를 앗아갑니다.

대화는 프롬프트로 시작해서는 안 됩니다. 데이터로 시작해야 합니다.

AI에게 필요한 건 더 많은 데이터가 아니라, 올바른 데이터입니다.

많은 조직들이 AI에는 더 많은 정보가 필요하다고 생각합니다. 하지만 저는 동의하지 않습니다. AI에 진정으로 필요한 것은 올바른 정보에 대한 접근 권한입니다.

HR 어시스턴트는 엔지니어링 문서가 필요하지 않습니다. 금융 챗봇은 마케팅 프레젠테이션을 검색해서는 안 됩니다. 모든 AI 애플리케이션은 특정 목적을 지원하는 데이터에 연결되어야 합니다.

그 시작은 간단한 질문 하나에서 비롯됩니다. 우리가 해결하려는 문제는 무엇일까요?

비즈니스 목표가 명확해지면 필요한 시스템과 데이터를 파악하는 것이 훨씬 쉬워집니다. 조직은 AI를 모든 것에 노출시키는 대신, 의미 있는 결과를 도출하는 데 필요한 관련성 있고 최신이며 신뢰할 수 있는 정보를 제공하는 데 집중할 수 있습니다.

그렇게 하면 모든 토큰의 가치를 극대화할 수 있습니다.

책임감 있는 AI는 책임감 있는 데이터에서 시작됩니다.

책임감 있는 AI는 종종 거버넌스, 투명성, 윤리 측면에서 논의됩니다. 이러한 논의는 중요하지만, 필수적인 전제 조건인 책임감 있는 데이터를 간과하고 있습니다.

데이터는 영원히 정확한 상태로 유지되지 않습니다.

엔지니어링 문서가 변경됩니다. 내부 정책이 발전합니다. 제품 수정 사항이 배포됩니다. 비즈니스 프로세스가 개선됩니다. 6개월 전에 정확했던 정보가 이미 쓸모없어졌을 수도 있습니다.

그렇기 때문에 데이터 무결성은 AI 프로젝트 시작 전에 한 번만 정리하는 일회성 작업으로 여겨져서는 안 됩니다. 지속적인 관리 원칙이 되어야 합니다. 조직은 보유한 정보가 정확하고 최신이며 안전하고, 해당 정보를 사용하는 AI 시스템에 적합한지 지속적으로 평가해야 합니다.

데이터 품질이 떨어지면 AI의 품질도 함께 떨어집니다.

데이터 소유권은 IT 부서만의 책임이 아닙니다.

제가 보기에 가장 큰 조직적 과제 중 하나는 데이터 소유권에 대한 혼란입니다.

많은 기업들이 인프라 관리를 IT 부서가 담당하기 때문에 이러한 책임이 전적으로 IT 부서에 있다고 생각하는 경우가 너무 많습니다. 하지만 스토리지 팀은 인사 정책이 최신 상태인지, 엔지니어링 문서가 여전히 유효한지 판단할 책임이 없습니다.

저는 인프라 팀을 우편 서비스에 비유하곤 합니다. 그들은 봉투를 안전하고 확실하게 배달하는 방법을 알지만, 봉투 안에 무엇이 쓰여 있는지는 책임지지 않습니다.

데이터를 생성하는 사람들은 데이터의 의미를 이해합니다. 기업은 데이터가 어떻게 사용되는지 이해합니다. 인프라 팀은 데이터가 사용 가능하고, 보호되고, 접근 가능하도록 보장합니다.

성공적인 AI 구현을 위해서는 세 그룹 모두가 협력해야 합니다.

저는 이것을 소유권보다는 데이터 관리 책임으로 생각하는 것을 선호합니다. 조직의 가장 귀중한 자산인 데이터의 품질, 보안 및 유용성을 유지하는 데에는 모든 구성원의 역할이 있습니다.

비즈니스 리더들은 AI 대화에 참여해야 합니다.

AI 프로젝트는 종종 기술적 계획으로 취급되지만, 실제로는 비즈니스 계획인 경우가 많습니다.

제가 본 가장 성공적인 프로젝트들은 처음부터 비즈니스 리더들이 참여하는 프로젝트였습니다. 그들은 원하는 결과를 정의하고, 성공 지표를 설정하며, AI가 측정 가능한 가치를 창출할 수 있는 부분을 파악합니다.

그러한 일치는 대화를 변화시킵니다.

조직들은 IT 부서에 "AI를 구현하라"고 요청하는 대신, 수작업 감소, 고객 경험 개선, 직원들의 신속한 의사 결정 지원 등 구체적인 비즈니스 문제 해결에 집중하기 시작했습니다.

또한 모든 구성원이 자신에게 어떤 이점이 있는지 이해하기 때문에 조직 전체의 공감대를 형성할 수 있습니다.

직원들은 인공지능이 의미 있는 업무를 대체하는 것을 원하지 않습니다. 그들은 인공지능이 반복적인 작업을 없애주어 문제 해결, 고객 서비스, 가치 창출에 더 많은 시간을 할애할 수 있기를 바랍니다.

규모를 잊지 마세요

성공적인 시범 사업이 성공적인 전체 사업 확대를 보장하는 것은 아닙니다.

저는 몇몇 조직들이 소수의 사용자에게는 완벽하게 작동하는 AI 솔루션을 구축했지만, 수천 명의 직원을 지원하게 되면서 경제성이 극적으로 달라지는 것을 목격했습니다.

사용자가 많아질수록 프롬프트가 많아집니다. 프롬프트가 많아질수록 토큰 소모량도 늘어납니다. 따라서 애초 계획에 확장성이 고려되지 않았다면 비용이 빠르게 증가할 수 있습니다.

그렇기 때문에 기업들은 AI가 작동한다는 것을 증명하는 것 이상을 생각해야 합니다. 지속 불가능한 비용을 발생시키거나 사용자를 실망시키지 않으면서 프로덕션 규모에서 효율적으로 작동한다는 것을 증명해야 합니다.

초기에 규모 확장을 계획하면 나중에 예상치 못한 문제에 부딪히는 것을 방지할 수 있습니다.

데이터부터 시작하세요

인공지능 프로젝트를 시작하려는 분들께 드리는 조언은 간단합니다.

먼저 달성하고자 하는 비즈니스 성과를 정의하십시오. 그런 다음 해당 목표를 지원하는 데 필요한 데이터를 식별하고 데이터가 깨끗하고 최신이며 안전하고 관리되는지 확인하십시오. 비즈니스 리더, 데이터 생성자 및 인프라 팀을 한자리에 모아 데이터 품질 유지 및 성과 측정에 있어 각자의 역할을 명확히 이해하도록 하십시오.

그런 다음에야 비로소 프롬프트에 집중해야 합니다.

인공지능을 통해 가장 큰 성과를 거두는 조직들은 반드시 최신 모델을 사용하거나 가장 기발한 프롬프트를 작성하는 조직들은 아닙니다. 오히려 신뢰할 수 있는 데이터, 공동 책임, 그리고 명확한 비즈니스 목표에 투자하는 조직들입니다.

결국 AI의 가치는 제공하는 정보의 질에 달려 있습니다. 데이터가 깨끗하고 관련성이 높으며 잘 관리될 때, AI 토큰은 비용이 아닌 투자가 되며, 그때 비로소 모두가 기대하는 비즈니스 성과를 창출하기 시작합니다.