#6 LLM Benchmark-User Need Misalignment for Climate Change

Detailed Summary (EN)

Read-like-fullpaper digest

This paper tackles Existing benchmarks focus on a narrow subset of climate knowledge and limited question types, whereas real user needs cover a broader range of topics (e.g., policy, transition and action), require higherlevel procedural and metacognitive support (e.g., advice and actionable writing), and often demand more structured output formats (e.g., explanatory paragraphs or itemized lists). Climate change is a critical socio-scientific challenge whose impacts extend beyond climate science to domains such as food systems, public health, and economic development (IPCC, 2021, 2022a,b). However, it remains unclear whether existing benchmarks used to evaluate LLM knowledge of climate change truly reflect the questions that users ask when consulting LLMs about climate change.

We further develop a Topic– Intent–Form taxonomy and apply it to analyze climate-related data representing different knowledge behaviors. that captures the different human–human and human–AI knowledge seeking and provision behaviors.

The empirical case is built around reveal a substantial mismatch between current benchmarks and real-world user needs, while knowledge interaction patterns between humans and LLMs closely resemble those in human–human interactions. Existing benchmarks focus on a narrow subset of climate knowledge and limited question types, whereas real user needs cover a broader range of topics (e.g., policy, transition and action), require higherlevel procedural and metacognitive support (e.g., advice and actionable writing), and often demand more structured output formats (e.g., explanatory paragraphs or itemized lists). reveal a substantial mismatch between current benchmarks and real-world user needs, while knowledge interaction patterns between humans and LLMs closely resemble those in human–human interactions. However, it remains unclear whether existing benchmarks used to evaluate LLM knowledge of climate change truly reflect the questions that users ask when consulting LLMs about climate change.

The central reported finding is Existing benchmarks focus on a narrow subset of climate knowledge and limited question types, whereas real user needs cover a broader range of topics (e.g., policy, transition and action), require higherlevel procedural and metacognitive support (e.g., advice and actionable writing), and often demand more structured output formats (e.g., explanatory paragraphs or itemized lists). These findings provide actionable guidance for benchmark design, RAG system development, and LLM training. However, it remains unclear whether existing benchmarks used to evaluate LLM knowledge of climate change truly reflect the questions that users ask when consulting LLMs about climate change. In particular, it is uncertain whether these benchmarks accurately capture the diversity of topics, user intents, and expected answer forms that arise in real-world interactions.

The paper also makes it clear that Limitations This work focuses on climate change, therefore, its methodology and some of its conclusions may have limited direct generalizability to other domains. Although we consider the Human-to-AI Queries to be of sufficient scale, and datasets such as WildChat and LMSYS-Chat-1M cover multilingual and geographically diverse users, with distributions across Topic-Intent-Form showing strong consistency across sources, the data may still exhibit potential biases. In particular, users who consent to sharing their interactions with LLMs may constitute a self-selected population, and English speakers remain dominant in the data. Overall, the paper is most convincing where its proposed method is directly supported by the reported comparisons, but the scope of the claim should still be read in light of the evaluation setup and stated limitations.

Final takeaway

• Main takeaway: Existing benchmarks focus on a narrow subset of climate knowledge and limited question types, whereas real user needs cover a broader range of topics (e.g., policy, transition and action), require higherlevel procedural and metacognitive support (e.g., advice and actionable writing), and often demand more structured output formats (e.g., explanatory paragraphs or itemized lists).
• Most important supporting result: These findings provide actionable guidance for benchmark design, RAG system development, and LLM training.
• Important caution: Limitations This work focuses on climate change, therefore, its methodology and some of its conclusions may have limited direct generalizability to other domains.

Problem definition

• Existing benchmarks focus on a narrow subset of climate knowledge and limited question types, whereas real user needs cover a broader range of topics (e.g., policy, transition and action), require higherlevel procedural and metacognitive support (e.g., advice and actionable writing), and often demand more structured output formats (e.g., explanatory paragraphs or itemized lists).
• Climate change is a critical socio-scientific challenge whose impacts extend beyond climate science to domains such as food systems, public health, and economic development (IPCC, 2021, 2022a,b).
• However, it remains unclear whether existing benchmarks used to evaluate LLM knowledge of climate change truly reflect the questions that users ask when consulting LLMs about climate change.
• In particular, it is uncertain whether these benchmarks accurately capture the diversity of topics, user intents, and expected answer forms that arise in real-world interactions.

Core idea & method

• We further develop a Topic– Intent–Form taxonomy and apply it to analyze climate-related data representing different knowledge behaviors.
• that captures the different human–human and human–AI knowledge seeking and provision behaviors.

Actual findings

• Existing benchmarks focus on a narrow subset of climate knowledge and limited question types, whereas real user needs cover a broader range of topics (e.g., policy, transition and action), require higherlevel procedural and metacognitive support (e.g., advice and actionable writing), and often demand more structured output formats (e.g., explanatory paragraphs or itemized lists).
• These findings provide actionable guidance for benchmark design, RAG system development, and LLM training.

How the conclusion was reached

• Step 1 — Proposed approach: We further develop a Topic– Intent–Form taxonomy and apply it to analyze climate-related data representing different knowledge behaviors.
• Step 2 — Evaluation setup or comparison basis: reveal a substantial mismatch between current benchmarks and real-world user needs, while knowledge interaction patterns between humans and LLMs closely resemble those in human–human interactions.
• Step 3 — Main reported evidence: Existing benchmarks focus on a narrow subset of climate knowledge and limited question types, whereas real user needs cover a broader range of topics (e.g., policy, transition and action), require higherlevel procedural and metacognitive support (e.g., advice and actionable writing), and often demand more structured output formats (e.g., explanatory paragraphs or itemized lists).
• Step 4 — Additional supporting or qualifying result: These findings provide actionable guidance for benchmark design, RAG system development, and LLM training.
• Step 5 — Claim boundary / limitation: Limitations This work focuses on climate change, therefore, its methodology and some of its conclusions may have limited direct generalizability to other domains.

Experimental setup & results

• Existing benchmarks focus on a narrow subset of climate knowledge and limited question types, whereas real user needs cover a broader range of topics (e.g., policy, transition and action), require higherlevel procedural and metacognitive support (e.g., advice and actionable writing), and often demand more structured output formats (e.g., explanatory paragraphs or itemized lists).
• reveal a substantial mismatch between current benchmarks and real-world user needs, while knowledge interaction patterns between humans and LLMs closely resemble those in human–human interactions.
• However, it remains unclear whether existing benchmarks used to evaluate LLM knowledge of climate change truly reflect the questions that users ask when consulting LLMs about climate change.
• In particular, it is uncertain whether these benchmarks accurately capture the diversity of topics, user intents, and expected answer forms that arise in real-world interactions.
• To address this question, we first perform a systematic comparison between datasets representing real-world needs and existing benchmarks.
• These findings provide actionable guidance for benchmark design, RAG system development, and LLM training.

Limitations & risks

• Limitations This work focuses on climate change, therefore, its methodology and some of its conclusions may have limited direct generalizability to other domains.
• Although we consider the Human-to-AI Queries to be of sufficient scale, and datasets such as WildChat and LMSYS-Chat-1M cover multilingual and geographically diverse users, with distributions across Topic-Intent-Form showing strong consistency across sources, the data may still exhibit potential biases.
• In particular, users who consent to sharing their interactions with LLMs may constitute a self-selected population, and English speakers remain dominant in the data.
• Furthermore, the construction of the topic taxonomy in this work involves a degree of manual decision-making, which may introduce subjectivity.

상세 요약 (KO)

전체 논문 읽은 느낌 요약

이 백서는 기존 벤치마크가 기후 지식과 제한된 질문 유형의 좁은 하위 집합에 초점을 맞추는 반면, 실제 사용자 요구 사항은 더 넓은 범위의 주제(예: 정책, 전환 및 조치)를 다루고, 더 높은 수준의 절차적 및 메타인지적 지원(예: 조언 및 실행 가능한 글쓰기)을 요구하며, 종종 더 구조화된 출력 형식(예: 설명 단락 또는 항목별 목록)을 요구합니다. 기후 변화는 기후 과학을 넘어 식량 시스템, 공중 보건, 경제 개발과 같은 영역까지 영향을 미치는 중요한 사회과학적 과제입니다(IPCC, 2021, 2022a,b). 그러나 기후 변화에 대한 LLM 지식을 평가하는 데 사용되는 기존 벤치마크가 사용자가 기후 변화에 관해 LLM에 문의할 때 묻는 질문을 실제로 반영하는지 여부는 불분명합니다. 우리는 주제-의도-형태 분류법을 추가로 개발하고 이를 적용하여 다양한 지식 행동을 나타내는 기후 관련 데이터를 분석합니다. 이는 다양한 인간-인간, 인간-AI ​​지식 추구 및 제공 행동을 포착합니다. 경험적 사례는 현재 벤치마크와 실제 사용자 요구 사이의 상당한 불일치를 드러내는 반면, 인간과 LLM 간의 지식 상호 작용 패턴은 인간-인간 상호 작용의 패턴과 매우 유사합니다. 기존 벤치마크는 기후 지식과 제한된 질문 유형의 좁은 하위 집합에 초점을 맞추는 반면, 실제 사용자 요구 사항은 더 넓은 범위의 주제(예: 정책, 전환 및 조치)를 다루고, 더 높은 수준의 절차 및 메타인지 지원(예: 조언 및 실행 가능한 쓰기)을 요구하며, 종종 더 구조화된 출력 형식(예: 설명 단락 또는 항목별 목록)을 요구합니다. 인간과 LLM 사이의 지식 상호 작용 패턴은 인간-인간 상호 작용의 패턴과 매우 유사하지만 현재 벤치마크와 실제 사용자 요구 사이의 상당한 불일치를 보여줍니다. 그러나 기후 변화에 대한 LLM 지식을 평가하는 데 사용되는 기존 벤치마크가 사용자가 기후 변화에 관해 LLM에 문의할 때 묻는 질문을 실제로 반영하는지 여부는 불분명합니다. 보고된 핵심 결과는 기존 벤치마크가 기후 지식과 제한된 질문 유형의 좁은 하위 집합에 초점을 맞추는 반면, 실제 사용자 요구 사항은 더 넓은 범위의 주제(예: 정책, 전환 및 조치)를 다루고, 더 높은 수준의 절차적 및 메타인지적 지원(예: 조언 및 실행 가능한 글쓰기)이 필요하며, 종종 더 구조화된 출력 형식(예: 설명 단락 또는 항목별 목록)을 요구한다는 것입니다. 이러한 결과는 벤치마크 설계, RAG 시스템 개발 및 LLM 교육에 대한 실행 가능한 지침을 제공합니다. 그러나 기후 변화에 대한 LLM 지식을 평가하는 데 사용되는 기존 벤치마크가 사용자가 기후 변화에 관해 LLM에 문의할 때 묻는 질문을 실제로 반영하는지 여부는 불분명합니다. 특히 이러한 벤치마크가 실제 상호 작용에서 발생하는 다양한 주제, 사용자 의도 및 예상 답변 형식을 정확하게 포착하는지 여부는 불확실합니다. 이 논문은 또한 한계점 이 연구는 기후 변화에 초점을 맞추고 있으므로 방법론과 결론 중 일부가 다른 영역으로 직접 일반화하는 데 제한이 있을 수 있음을 분명히 밝혔습니다. 우리는 인간-AI ​​쿼리가 충분한 규모라고 생각하지만 WildChat 및 LMSYS-Chat-1M과 같은 데이터 세트는 다국어 및 지리적으로 다양한 사용자를 포괄하며 Topic-Intent-Form 전반의 분포는 소스 전반에 걸쳐 강력한 일관성을 보여주지만 데이터는 여전히 잠재적인 편향을 나타낼 수 있습니다. 특히, LLM과의 상호 작용을 공유하는 데 동의한 사용자는 자체 선택된 모집단을 구성할 수 있으며, 영어 사용자는 데이터에서 여전히 지배적입니다. 전반적으로, 이 논문은 제안된 방법이 보고된 비교에 의해 직접적으로 뒷받침된다는 점에서 가장 설득력이 있지만, 청구 범위는 평가 설정 및 명시된 제한 사항을 고려하여 읽어야 합니다.

핵심 결론

• 주요 시사점: 기존 벤치마크는 기후 지식과 제한된 질문 유형의 좁은 하위 집합에 초점을 맞추는 반면, 실제 사용자 요구는 더 넓은 범위의 주제(예: 정책, 전환 및 조치)를 다루고, 더 높은 수준의 절차적 및 메타인지적 지원(예: 조언 및 실행 가능한 글쓰기)을 요구하며, 종종 더 구조화된 출력 형식(예: 설명 단락 또는 항목별 목록)을 요구합니다.
• 가장 중요한 뒷받침 결과: 이러한 결과는 벤치마크 설계, RAG 시스템 개발 및 LLM 교육에 대한 실행 가능한 지침을 제공합니다.
• 중요한 주의 사항: 한계점 이 작업은 기후 변화에 초점을 맞추고 있으므로 방법론과 결론 중 일부는 다른 영역으로 직접 일반화하는 데 제한이 있을 수 있습니다.

문제 정의

• 기존 벤치마크는 기후 지식과 제한된 질문 유형의 좁은 하위 집합에 초점을 맞추는 반면, 실제 사용자 요구 사항은 더 넓은 범위의 주제(예: 정책, 전환 및 조치)를 다루고, 더 높은 수준의 절차 및 메타인지 지원(예: 조언 및 실행 가능한 쓰기)을 요구하며, 종종 더 구조화된 출력 형식(예: 설명 단락 또는 항목별 목록)을 요구합니다.
• 기후 변화는 기후 과학을 넘어 식량 시스템, 공중 보건, 경제 개발과 같은 영역까지 영향을 미치는 중요한 사회과학적 과제입니다(IPCC, 2021, 2022a,b).
• 그러나 기후 변화에 대한 LLM 지식을 평가하는 데 사용되는 기존 벤치마크가 사용자가 기후 변화에 관해 LLM에 문의할 때 묻는 질문을 실제로 반영하는지 여부는 불분명합니다.
• 특히 이러한 벤치마크가 실제 상호 작용에서 발생하는 다양한 주제, 사용자 의도 및 예상 답변 형식을 정확하게 포착하는지 여부는 불확실합니다.

핵심 아이디어/방법

• 우리는 주제-의도-형태 분류법을 추가로 개발하고 이를 적용하여 다양한 지식 행동을 나타내는 기후 관련 데이터를 분석합니다.
• 이는 다양한 인간-인간, 인간-AI ​​지식 추구 및 제공 행동을 포착합니다.

실제 결과

• 기존 벤치마크는 기후 지식과 제한된 질문 유형의 좁은 하위 집합에 초점을 맞추는 반면, 실제 사용자 요구 사항은 더 넓은 범위의 주제(예: 정책, 전환 및 조치)를 다루고, 더 높은 수준의 절차 및 메타인지 지원(예: 조언 및 실행 가능한 쓰기)을 요구하며, 종종 더 구조화된 출력 형식(예: 설명 단락 또는 항목별 목록)을 요구합니다.
• 이러한 결과는 벤치마크 설계, RAG 시스템 개발 및 LLM 교육에 대한 실행 가능한 지침을 제공합니다.

결론이 나온 과정

• 1단계 — 제안된 접근 방식: 주제-의도-형태 분류법을 추가로 개발하고 이를 적용하여 다양한 지식 행동을 나타내는 기후 관련 데이터를 분석합니다.
• 2단계 — 평가 설정 또는 비교 기준: 현재 벤치마크와 실제 사용자 요구 사항 간의 상당한 불일치를 밝히는 한편, 인간과 LLM 간의 지식 상호 작용 패턴은 인간-인간 상호 작용의 패턴과 매우 유사합니다.
• 3단계 — 보고된 주요 증거: 기존 벤치마크는 기후 지식과 제한된 질문 유형의 좁은 하위 집합에 초점을 맞추는 반면, 실제 사용자 요구 사항은 더 넓은 범위의 주제(예: 정책, 전환 및 조치)를 다루고, 더 높은 수준의 절차 및 메타인지 지원(예: 조언 및 실행 가능한 글쓰기)이 필요하며, 종종 더 구조화된 출력 형식(예: 설명 단락 또는 항목별 목록)을 요구합니다.
• 4단계 - 추가 지원 또는 적격 결과: 이러한 결과는 벤치마크 설계, RAG 시스템 개발 및 LLM 교육에 대한 실행 가능한 지침을 제공합니다.
• 5단계 — 주장 경계/한계: 한계 이 작업은 기후 변화에 초점을 맞추고 있으므로 방법론과 결론 중 일부는 다른 영역에 직접 일반화하는 데 제한이 있을 수 있습니다.

실험 설정/결과

• 기존 벤치마크는 기후 지식과 제한된 질문 유형의 좁은 하위 집합에 초점을 맞추는 반면, 실제 사용자 요구 사항은 더 넓은 범위의 주제(예: 정책, 전환 및 조치)를 다루고, 더 높은 수준의 절차 및 메타인지 지원(예: 조언 및 실행 가능한 쓰기)을 요구하며, 종종 더 구조화된 출력 형식(예: 설명 단락 또는 항목별 목록)을 요구합니다.
• 인간과 LLM 사이의 지식 상호 작용 패턴은 인간-인간 상호 작용의 패턴과 매우 유사하지만 현재 벤치마크와 실제 사용자 요구 사이의 상당한 불일치를 보여줍니다.
• 그러나 기후 변화에 대한 LLM 지식을 평가하는 데 사용되는 기존 벤치마크가 사용자가 기후 변화에 관해 LLM에 문의할 때 묻는 질문을 실제로 반영하는지 여부는 불분명합니다.
• 특히 이러한 벤치마크가 실제 상호 작용에서 발생하는 다양한 주제, 사용자 의도 및 예상 답변 형식을 정확하게 포착하는지 여부는 불확실합니다.
• 이 질문을 해결하기 위해 먼저 실제 요구 사항을 나타내는 데이터 세트와 기존 벤치마크를 체계적으로 비교합니다.
• 이러한 결과는 벤치마크 설계, RAG 시스템 개발 및 LLM 교육에 대한 실행 가능한 지침을 제공합니다.

한계/리스크

• 제한 사항 이 작업은 기후 변화에 초점을 맞추고 있으므로 방법론과 결론 중 일부는 다른 영역으로 직접 일반화하는 데 제한이 있을 수 있습니다.
• 인간-AI ​​쿼리의 규모가 충분하고 WildChat 및 LMSYS-Chat-1M과 같은 데이터 세트가 다국어 및 지리적으로 다양한 사용자를 포괄하고 주제-의도-양식 전반에 걸쳐 분포가 소스 전반에 걸쳐 강력한 일관성을 보여주지만 데이터는 여전히 잠재적인 편향을 나타낼 수 있습니다.
• 특히, LLM과의 상호 작용을 공유하는 데 동의한 사용자는 자체 선택된 모집단을 구성할 수 있으며, 영어 사용자는 데이터에서 여전히 지배적입니다.
• 더욱이, 이 작업에서 주제 분류 체계의 구성에는 주관성이 도입될 수 있는 어느 정도의 수동 의사 결정이 포함됩니다.