Detailed Summary (EN)
Read-like-fullpaper digest
This paper tackles When a domain expert edits an AI-generated artifact— correcting technical details, restructuring arguments, or refining specialized vocabulary—those modifications encode valuable domain expertise that remains latent and difficult to extract through explicit prompting alone [30, 35]. To address this challenge, we pose three research questions: • RQ1: How can user modifications to Artificial Intelligence (AI)-generated artifacts be systematically captured and transformed into reusable domain knowledge for multi-agent systems? In a preliminary survey with four pharmaceutical research professionals about their literature review workflows, we found that experts spend 5-60 hours on manual title/abstract screening, with teams processing 50-6,000 papers per review cycle.
The core proposal is Our approach enables specification bootstrapping where vague initial prompts evolve into precise domain specifications through iterative human-AI collaboration, implicit knowledge transfer through reverse-engineered user edits, and in-context learning where agent behavior adapts based on observed correction patterns. Through our system Seedentia, a web-based multi-agent framework for sense-making, we demonstrate bidirectional semantic links between generated artifacts and system reasoning. Through iterative refinement our approach expands the shared context substantially, capturing domain-specific terminology, conventions, and patterns. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page.
Our system extracted 46 domain knowledge entries from user modifications, demonstrating the feasibility of capturing implicit expertise through edit patterns, though the limited sample size constrains conclusions about systematic quality improvements. This workflow creates a one-way exchange: the system generates content, but user modifications never feed back to improve subsequent reasoning [34, 38]. Critically, 25-50% of pre-processed Manuscript submitted to ACM Context-Mediated Domain Adaptation in
The central reported finding is The need for better human-AI collaboration is evident across domains. Critically, 25-50% of pre-processed Manuscript submitted to ACM Context-Mediated Domain Adaptation in The need for better human-AI collaboration is evident across domains.
Overall, the paper is most convincing where its proposed method is directly supported by the reported comparisons, but the scope of the claim should still be read in light of the evaluation setup and stated limitations.
Final takeaway
- Main takeaway: The need for better human-AI collaboration is evident across domains.
Problem definition
- When a domain expert edits an AI-generated artifact— correcting technical details, restructuring arguments, or refining specialized vocabulary—those modifications encode valuable domain expertise that remains latent and difficult to extract through explicit prompting alone [30, 35].
- To address this challenge, we pose three research questions: • RQ1: How can user modifications to Artificial Intelligence (AI)-generated artifacts be systematically captured and transformed into reusable domain knowledge for multi-agent systems?
- In a preliminary survey with four pharmaceutical research professionals about their literature review workflows, we found that experts spend 5-60 hours on manual title/abstract screening, with teams processing 50-6,000 papers per review cycle.
- Current systems operate through ephemeral prompts [4]: users specify requirements upfront, receive outputs, then manually refine results by correcting errors, reorganizing content, or adjusting terminology.
Core idea & method
- Our approach enables specification bootstrapping where vague initial prompts evolve into precise domain specifications through iterative human-AI collaboration, implicit knowledge transfer through reverse-engineered user edits, and in-context learning where agent behavior adapts based on observed correction patterns.
- Through our system Seedentia, a web-based multi-agent framework for sense-making, we demonstrate bidirectional semantic links between generated artifacts and system reasoning.
- Through iterative refinement our approach expands the shared context substantially, capturing domain-specific terminology, conventions, and patterns.
- Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page.
- When experts modify AI-generated artifacts by correcting terminology, restructuring arguments, and adjusting emphasis, these edits reveal domain understanding that remains latent in traditional prompt-based interactions.
- This accumulated knowledge persists in an LLM-agnostic format, enabling system improvements across sessions and participants while maintaining compatibility with different language models.
Actual findings
- The need for better human-AI collaboration is evident across domains.
How the conclusion was reached
- Step 1 — Proposed approach: Our approach enables specification bootstrapping where vague initial prompts evolve into precise domain specifications through iterative human-AI collaboration, implicit knowledge transfer through reverse-engineered user edits, and in-context learning where agent behavior adapts based on observed correction patterns.
- Step 3 — Main reported evidence: The need for better human-AI collaboration is evident across domains.
Experimental setup & results
- Our system extracted 46 domain knowledge entries from user modifications, demonstrating the feasibility of capturing implicit expertise through edit patterns, though the limited sample size constrains conclusions about systematic quality improvements.
- This workflow creates a one-way exchange: the system generates content, but user modifications never feed back to improve subsequent reasoning [34, 38].
- Critically, 25-50% of pre-processed Manuscript submitted to ACM Context-Mediated Domain Adaptation in
- The need for better human-AI collaboration is evident across domains.
Limitations & risks
상세 요약 (KO)
전체 논문 읽은 느낌 요약
이 문서에서는 도메인 전문가가 AI 생성 아티팩트를 편집(기술 세부 사항 수정, 인수 재구성 또는 전문 어휘 정제)할 때 이러한 수정 사항이 잠재되어 있고 명시적인 프롬프트만으로는 추출하기 어려운 귀중한 도메인 전문 지식을 인코딩합니다[30, 35]. 이 문제를 해결하기 위해 우리는 세 가지 연구 질문을 제시합니다. • RQ1: 인공 지능(AI) 생성 아티팩트에 대한 사용자 수정을 어떻게 체계적으로 캡처하고 다중 에이전트 시스템을 위한 재사용 가능한 도메인 지식으로 변환할 수 있습니까? 4명의 제약 연구 전문가를 대상으로 문헌 검토 워크플로우에 대한 예비 조사를 실시한 결과, 전문가는 수동 제목/초록 심사에 5~60시간을 소비하고 팀은 검토 주기당 50~6,000개의 논문을 처리하는 것으로 나타났습니다. 핵심 제안은 우리의 접근 방식을 통해 반복적인 인간-AI 협업을 통해 모호한 초기 프롬프트가 정확한 도메인 사양으로 진화하는 사양 부트스트래핑, 역엔지니어링된 사용자 편집을 통한 암시적 지식 전달, 관찰된 수정 패턴을 기반으로 에이전트 동작이 적응되는 상황 내 학습을 가능하게 한다는 것입니다. 감지 생성을 위한 웹 기반 다중 에이전트 프레임워크인 시스템 Seedentia를 통해 생성된 아티팩트와 시스템 추론 간의 양방향 의미론적 링크를 보여줍니다. 반복적인 개선을 통해 우리의 접근 방식은 공유 컨텍스트를 실질적으로 확장하여 도메인별 용어, 규칙 및 패턴을 포착합니다. 사본이 영리 또는 상업적 이익을 위해 제작 또는 배포되지 않고 사본에 이 공지와 첫 페이지에 전체 인용문이 표시되어 있는 경우 개인 또는 교실 사용을 위해 이 저작물의 전부 또는 일부를 디지털 또는 하드 사본으로 만드는 권한은 무료로 부여됩니다. 우리 시스템은 사용자 수정에서 46개의 도메인 지식 항목을 추출하여 편집 패턴을 통해 암시적 전문 지식을 포착할 수 있는 가능성을 보여 주었지만 제한된 샘플 크기로 인해 체계적인 품질 개선에 대한 결론이 제한됩니다. 이 워크플로우는 단방향 교환을 생성합니다. 시스템은 콘텐츠를 생성하지만 사용자 수정은 후속 추론을 개선하기 위해 피드백되지 않습니다[34, 38]. 결정적으로, ACM 컨텍스트 중재 도메인 적응에 제출된 사전 처리된 원고의 25-50%가 중앙 보고 결과는 더 나은 인간-AI 협업의 필요성이 도메인 전반에 걸쳐 명백하다는 것입니다. 중요한 점은 ACM 컨텍스트 중재 도메인 적응에 제출된 사전 처리된 원고의 25-50%가 더 나은 인간-AI 협업의 필요성이 도메인 전반에 걸쳐 명백하다는 것입니다. 전반적으로, 이 논문은 제안된 방법이 보고된 비교에 의해 직접적으로 뒷받침된다는 점에서 가장 설득력이 있지만, 청구 범위는 평가 설정 및 명시된 제한 사항을 고려하여 읽어야 합니다.
핵심 결론
- 주요 시사점: 더 나은 인간-AI 협업의 필요성은 여러 영역에서 분명합니다.
문제 정의
- 도메인 전문가가 AI 생성 아티팩트(기술 세부 사항 수정, 인수 재구성 또는 전문 어휘 정제)를 편집할 때 이러한 수정 사항은 명시적인 프롬프트만으로는 추출하기 어려운 잠복 상태로 남아 있는 귀중한 도메인 전문 지식을 인코딩합니다[30, 35].
- 이 문제를 해결하기 위해 우리는 세 가지 연구 질문을 제시합니다. • RQ1: 인공 지능(AI) 생성 아티팩트에 대한 사용자 수정을 어떻게 체계적으로 캡처하고 다중 에이전트 시스템을 위한 재사용 가능한 도메인 지식으로 변환할 수 있습니까?
- 4명의 제약 연구 전문가를 대상으로 문헌 검토 워크플로우에 대한 예비 조사를 실시한 결과, 전문가는 수동 제목/초록 심사에 5~60시간을 소비하고 팀은 검토 주기당 50~6,000개의 논문을 처리하는 것으로 나타났습니다.
- 현재 시스템은 임시 프롬프트를 통해 작동합니다[4]. 사용자는 요구 사항을 미리 지정하고 출력을 받은 다음 오류 수정, 콘텐츠 재구성 또는 용어 조정을 통해 결과를 수동으로 구체화합니다.
핵심 아이디어/방법
- 우리의 접근 방식은 반복적인 인간-AI 협업을 통해 모호한 초기 프롬프트가 정확한 도메인 사양으로 진화하는 사양 부트스트래핑, 역엔지니어링된 사용자 편집을 통한 암시적 지식 전달, 관찰된 수정 패턴을 기반으로 에이전트 동작이 조정되는 상황 내 학습을 가능하게 합니다.
- 감지 생성을 위한 웹 기반 다중 에이전트 프레임워크인 시스템 Seedentia를 통해 생성된 아티팩트와 시스템 추론 간의 양방향 의미론적 링크를 보여줍니다.
- 반복적인 개선을 통해 우리의 접근 방식은 공유 컨텍스트를 실질적으로 확장하여 도메인별 용어, 규칙 및 패턴을 포착합니다.
- 사본이 영리 또는 상업적 이익을 위해 제작 또는 배포되지 않고 사본에 이 공지와 첫 페이지에 전체 인용문이 표시되어 있는 경우 개인 또는 교실 사용을 위해 이 저작물의 전부 또는 일부를 디지털 또는 하드 사본으로 만드는 권한은 무료로 부여됩니다.
- 전문가가 용어 수정, 인수 재구성 및 강조 조정을 통해 AI 생성 아티팩트를 수정하면 이러한 편집을 통해 기존 프롬프트 기반 상호 작용에 잠재되어 있던 도메인 이해가 드러납니다.
- 이렇게 축적된 지식은 LLM에 구애받지 않는 형식으로 유지되므로 다양한 언어 모델과의 호환성을 유지하면서 세션과 참가자 전반에 걸쳐 시스템을 개선할 수 있습니다.
실제 결과
- 더 나은 인간-AI 협업의 필요성은 여러 영역에서 분명합니다.
결론이 나온 과정
- 1단계 — 제안된 접근 방식: 우리의 접근 방식은 반복적인 인간-AI 협업, 역엔지니어링된 사용자 편집을 통한 암시적 지식 전달, 관찰된 수정 패턴을 기반으로 에이전트 동작이 적응하는 상황 내 학습을 통해 모호한 초기 프롬프트가 정확한 도메인 사양으로 발전하는 사양 부트스트래핑을 가능하게 합니다.
- 3단계 - 보고된 주요 증거: 인간과 AI의 더 나은 협력에 대한 필요성은 여러 영역에서 분명합니다.
실험 설정/결과
- 우리 시스템은 사용자 수정에서 46개의 도메인 지식 항목을 추출하여 편집 패턴을 통해 암시적 전문 지식을 포착할 수 있는 가능성을 보여 주었지만 제한된 샘플 크기로 인해 체계적인 품질 개선에 대한 결론이 제한됩니다.
- 이 워크플로우는 단방향 교환을 생성합니다. 시스템은 콘텐츠를 생성하지만 사용자 수정은 후속 추론을 개선하기 위해 피드백되지 않습니다[34, 38].
- 결정적으로, 사전 처리된 원고의 25-50%가 ACM 컨텍스트 중재 도메인 적응에 제출되었습니다.
- 더 나은 인간-AI 협업의 필요성은 여러 영역에서 분명합니다.
한계/리스크