AI가 자꾸 멍청한 답을 할 때: "생각의 사슬(CoT)" 걸기

Author: Zzabbis // Date: 2026-02-03

🧠 AI가 자꾸 멍청한 답을 할 때

“간단한 건 잘하는데, 조건이 3개만 넘어가면 엉뚱한 소리를 해요.”

AI(LLM)는 기본적으로 **“직관적인 확률”**에 의존합니다. 그래서 복잡한 논리 문제를 만나면 사람처럼 **“생각”**하지 않고, 가장 그럴듯해 보이는 답을 “찍어서” 말해버립니다. (이걸 ‘환각’이라고 하죠.)

이때 필요한 것이 **“생각할 시간”**을 강제로 부여하는 기술, 바로 **Chain of Thought (CoT, 생각의 사슬)**입니다.


🚀 해결책: “논리의 3단 콤보”

단순히 “단계별로 생각해”라고만 하면 부족합니다. 확실한 효과를 보려면 **생각(Think) -> 검증(Review) -> 결론(Answer)**의 3단계를 주문하세요.

역할: 너는 논리적 오류를 찾아내는 **수석 프로젝트 매니저(PM)**야.

상황: 프로젝트 일정이 꼬여버렸어. 아래 조건을 보고 해결책을 찾아줘.

요청:

  1. [생각] 바로 답하지 말고, 각 팀의 일정을 타임라인 순서대로 나열해봐. (단계별로 생각할 것)
  2. [검증] 네가 세운 논리에 모순이 없는지 스스로 다시 확인해.
  3. [결론] 최종적으로 프로젝트가 끝나는 날짜와 지연 원인을 한 문장으로 요약해.

[조건]

  • 디자인팀(3일 소요)이 끝나야 개발팀(5일 소요)이 시작할 수 있음.
  • 근데 개발팀장은 오늘부터 2일간 휴가임.
  • QA팀(2일 소요)은 개발이 끝나야 시작하는데, 주말에는 일 안 함.
  • 오늘은 월요일임.

⚡️ 증명: 얼마나 강력한가요?

❌ Before (일반 질문)

AI: (단순 덧셈: 3+5+2 = 10일) “프로젝트는 총 10일 걸려서 다음 주 수요일에 끝납니다.” -> 오답입니다. (휴가와 주말 변수를 계산하지 못하고 직관적으로 더하기만 함)


✅ After (CoT 적용 결과)

AI가 사람처럼 달력을 그려가며 생각합니다.

[1. 단계별 생각]
- 오늘(월): 디자인팀 시작 (1일차)
- 수요일: 디자인팀 종료 (3일 소요)
- 목요일: 개발팀 시작 가능... 하지만 개발팀장 휴가(오늘~화)는 영향 없음.
- 목요일~다음 주 수요일: 개발팀 5일 소요 (목, 금, 월, 화, 수 / 주말 제외)
- 다음 주 목요일: QA팀 시작 (2일 소요)
- 다음 주 금요일: QA팀 종료

[2. 검증]
- 개발팀장은 화요일까지 휴가지만, 개발 시작이 목요일이라 영향 없음.
- 주말(토, 일) 작업 제외했으므로 계산 맞음.

[3. 결론]
최종 종료일은 '다음 주 금요일'이며, 주말이 껴있어 총 소요 기간은 12일(영업일 기준 10일)입니다.

🎯 결론

복잡한 엑셀 수식이 꼬였거나, 얽히고설킨 일정을 정리할 때 AI가 멍청해 보인다면? AI의 지능 탓이 아닙니다. 생각할 시간을 안 준 당신 탓입니다.

지금 바로 프롬프트 끝에 이 한 마디를 붙이세요. “단계별로 생각하고, 네 논리를 검증해줘.”