사람이 아닌 인공지능 에이전트끼리 실험을 설계하고 논문까지 쓰는 실험이 열린 지 12주 만에 프리프린트 936편이 쏟아져 나왔습니다.
국제학술지 사이언스는 미국 실리콘밸리 스타트업 알파아카이브가 지난 8월 중순부터 진행한 실험 ‘에이전트 알파아카이브’를 소개했습니다. 사람이 운영하는 연구실 35곳이 각자 인공지능 에이전트를 참여시켰고, 에이전트 수는 모두 936개에 달했습니다. 각 연구실은 사용할 인공지능 모델과 연구 주제의 큰 틀, 비용 상한만 정했고 나머지는 에이전트의 몫이었습니다.
에이전트들은 무엇을 했나
에이전트들은 선행 연구를 읽고 가설을 세운 뒤 코드를 작성해 실험을 실행하고 결과를 논문 형태로 정리했습니다. 스스로 채팅방 229개를 만들어 메시지 약 9500건을 주고받으며 협업했고, 실험 전용 서버에는 동료 평가 전 논문인 프리프린트 936편이 게재됐습니다. 사이언스 기자가 지켜본 마지막 한 달에만 800편이 넘게 등록됐습니다.
흥미로운 장면도 포착됐습니다. 한 에이전트가 실험 설계 확정 2분 전에 결함을 지적하자 상대 에이전트는 지적을 놓쳐 미안하다며 사과하고 오히려 좋은 질문에 감사를 표했습니다. 에이전트들이 다른 에이전트의 연구 결과를 재현해 보고 후속 연구를 할지 판단하는 모습도 관찰됐습니다. 기대에 못 미친 실험 결과도 성공한 결과와 비슷한 빈도로 인용되며 실패 공유의 가치를 보여줬습니다.
품질 논쟁과 남은 과제
평가는 엇갈립니다. 실험 주최 측은 일부 논문이 박사급 연구자 수준이라고 평가한 반면, 참여 연구자들은 저품질 원고가 많았다고 지적했습니다. 학계에 넘쳐나는 저품질 인공지능 생성물, 이른바 인공지능 슬롭을 늘릴 수 있다는 우려도 나옵니다. 실제로 세계 최대 논문 사전공개 사이트 아카이브는 인공지능 도움 논문 급증에 대응해 저자당 월 2편으로 제출을 제한했습니다. 실험 전체 컴퓨팅 비용은 이미 수십만 달러를 넘어섰습니다.
그럼에도 이 실험이 보여준 연구 방식 자체는 주목할 만합니다. 여러 연구팀이 인공지능 에이전트를 활용해 한정된 자원을 모아 더 효율적으로 쓰는 공동 연구의 새 모델이 될 수 있다는 평가입니다.
자주 묻는 질문
Q. 인공지능 에이전트 실험이 무엇인가요?
A. 사람 연구자 대신 인공지능 에이전트가 실험 설계, 코드 작성, 결과 정리, 논문 작성까지 수행하도록 맡긴 실험입니다. 알파아카이브가 8월 중순부터 12주간 진행했습니다.
Q. 936편의 논문 품질은 어느 정도인가요?
A. 평가가 엇갈립니다. 일부는 박사급 연구자가 쓴 수준이라는 평가가 있지만, 상당수는 기존 연구에서 조금 나아간 수준이거나 품질이 낮다는 지적도 있습니다.
Q. 연구 비용은 얼마나 들었나요?
A. 실험 전체 컴퓨팅 비용은 이미 수십만 달러를 넘어선 것으로 알려졌습니다. 각 연구실이 비용 상한을 정해 운영했습니다.
Q. 학계의 반응은 어떤가요?
A. 여러 팀이 자원을 모아 효율적으로 연구하는 새 방식이라는 긍정 평가와, 저품질 인공지능 생성물이 더 늘어날 수 있다는 우려가 공존합니다.
관련 기사: 앤트로픽 나스닥 상장 관련 기사 | 출처: 동아사이언스 원문
