구글원 2TB 요금제랑 ChatGPT 20달러짜리 월 구독을 하고 있었는데, 구글원에서 프로로 업글하면 제미나이도 유로로 쓸 수 있다고 해서 제미나이도 유료로 사용해보고 있습니다.
그런데, 제미나이는 비교적 맞는 답을 내주거나, 모르면 모른다고 하고 추가 데이터를 요구하는데..
GPT는 자꾸 헛소리를 해요.
'솔직하고 직설적으로', '군더더기 없이' 같은 쓸데 없는 말을 자꾸 붙이는 것은 기본이고 틀린 답을 내줍니다.
제가 어느정도 기본적인 사실을 아는 상황에서 '어? 왜 헛소리를 하지?' 라고 생각이 되서 팩트를 정정하면 '아, 내가 그걸 확인안하고 추론했어. 니 말이 맞다' 라면서 다시 답을 하는데, 그래도 틀립니다. 여러번 대화를 하면서 정정을 하고 데이터를 넣어 줘야 답이 나옵니다.
얼마전에는 와이어샤크 캡춰를 올려서 분석하는데, 제미나이는 CSV로 변환해서 올려달라고 하고 그대로 CSV 파일로 분석을 해서 데이터를 정리하고 그래프까지 그려줬는데
똑같은 작업을 GPT로 했더니 CSV파일로 올려달라고 해서 CSV로 올려줬더니 자기는 CSV 파일을 읽을수가 없다고 다시 TXT로 변환해서 올려달라고 합니다.

얼마전에는 재미삼아 '내가 A카드, B카드 타입A, C카드, D카드가 있는데, 주유는 월 100리터 정도 하고, 코스트코에서 얼마정도를 쓰고, 월 평균 얼마정도를 쓰고 있어. 기준 실적 및 혜택을 고려했 가장 효율이 좋은 사용배분은 얼마지?' 라는 식으로 두 AI 에게 질문을 했는데.. 제미나이는 한방에 기본 실적, 혜택, 최적 배분, 이익 등을 정리해서 표로 답을 주는데, GPT는 기본 실적부터 틀려서 계산을 했습니다. 틀린 기본 실적을 정정해주고 왜 틀렸냐? 했더니 자기는 '추론'을 했다고 합니다. 팩트를 추론하는데 틀려버리니 답도 틀리는거죠. 이런식으로 GPT는 몇번의 정정/정리성 대화를 해야 답이 나왔습니다.

요즘 업무적으로 AI를 많이 쓰게 되어 내가 월 몇만원 사비로 내고 야근 덜하고 시간절약하는게 낫지 싶은데, 이러면  GPT를 유료로 써야 하는지에 대한 의문이 들 정도입니다.

GPT는 대체 뭐가 다르길래 팩트 체크 대신 추론을 하고 그 추론이 추론이라는 것을 고지 하지 않고 팩트인것처럼 확신에 차서 답변을 하는 걸까요?
AI에게 어떻게 질문을 하느냐가 중요하다고는 하지만, 기본적으로 지식/경험이 부족한 상태에서 나온 답이 이상하다는 것을 인지하지 못하는 수준이라면 AI 썼다가 일 망칠 것 같습니다.