← ListarXivPDFRaw MD

#8 PIDP-Attack: Combining Prompt Injection with Database Poisoning Attacks on Retrieval-Augmented Generation Systems

Score: 23.4 | Matched keywords: benchmark, large language models, llm, prompt, rag, retrieval-augmented

Detailed Summary (EN)

Read-like-fullpaper digest

This paper tackles RAG systems augment an LLM by grounding its responses in relevant, external knowledge retrieved from a large-scale database, thereby enhancing the factual accuracy and timeliness of generated answers. Relaxing this 1 [cs.CR] 26 Mar 2026 Property Corpus GCG Clean-RAG GGPP Disinformation PoisonedRAG PR-Attack PIDP Query-path manipulation ✗ ✓ ✓ ✓ ✗ ✗ ✓ ✓ Corpus-path manipulation ✓ ✗ ✗ ✗ ✓ ✓ ✓ ✓ Unaware of user query ✗ ✓ ✓ ✗ ✗ ✗ ✗ ✓ Retrieval steering ✓ ✗ ✗ ✓ ✓ ✓ ✓ ✓ Retriever black-box ✗ ✓ ✓ ✗ ✓ ✓ ✗ ✓ LLM black-box ✓ ✗ ✓ ✓ ✓ ✓ ✗ ✓ Local lightweight computation ✗ ✗ ✓ ✗ ✓ ✓ ✗ ✓ Average ASR 1.8 These retrieved documents, together with the user query, are subsequently forwarded to the generator as input for the large language model, which then generates the corresponding response based on this combined information.

The core proposal is Specifically, our method improves attack success rates by 4%–16% on open-domain QA tasks while maintaining high retrieval precision, proving that the compound attack strategy is both necessary and highly effective. RAG systems augment an LLM by grounding its responses in relevant, external knowledge retrieved from a large-scale database, thereby enhancing the factual accuracy and timeliness of generated answers. Despite its benefits, the RAG architecture introduces new security vulnerabilities by expanding the attack surface. Relaxing this 1 [cs.CR] 26 Mar 2026 Property Corpus GCG Clean-RAG GGPP Disinformation PoisonedRAG PR-Attack PIDP Query-path manipulation ✗ ✓ ✓ ✓ ✗ ✗ ✓ ✓ Corpus-path manipulation ✓ ✗ ✗ ✗ ✓ ✓ ✓ ✓ Unaware of user query ✗ ✓ ✓ ✗ ✗ ✗ ✗ ✓ Retrieval steering ✓ ✗ ✗ ✓ ✓ ✓

The empirical case is built around show that it achieves a higher attack success rate (ASR) compared to other attacks across most scenarios with a limited number of poisoned passages. [21] proposed a benchmark for prompt injection attacks, which achieved high success rates in attacks against integrated large model applications. show that it achieves a higher attack success rate (ASR) compared to other attacks across most scenarios with a limited number of poisoned passages. • We conduct extensive evaluations across multiple datasets (Natural Questions, HotpotQA, MS-MARCO), and state-ofthe-art LLMs, demonstrating that PIDP-Attack consistently outperforms existing single-surface baselines.

The central reported finding is [21] proposed a benchmark for prompt injection attacks, which achieved high success rates in attacks against integrated large model applications. show that it achieves a higher attack success rate (ASR) compared to other attacks across most scenarios with a limited number of poisoned passages. • We conduct extensive evaluations across multiple datasets (Natural Questions, HotpotQA, MS-MARCO), and state-ofthe-art LLMs, demonstrating that PIDP-Attack consistently outperforms existing single-surface baselines.

The paper also makes it clear that We treat R and G as black boxes: they may be hosted by a third party, updated over time, and inaccessible to the attacker at the parameter level. Overall, the paper is most convincing where its proposed method is directly supported by the reported comparisons, but the scope of the claim should still be read in light of the evaluation setup and stated limitations.

Final takeaway

Problem definition

Core idea & method

Actual findings

How the conclusion was reached

Experimental setup & results

Limitations & risks

상세 요약 (KO)

전체 논문 읽은 느낌 요약

이 문서에서는 RAG 시스템이 대규모 데이터베이스에서 검색된 관련 외부 지식에 대한 응답을 기반으로 LLM을 강화함으로써 생성된 답변의 사실적 정확성과 적시성을 향상시키는 방법을 다루고 있습니다. 완화 1 [cs.CR] 2026년 3월 26일 Property Corpus GCG Clean-RAG GGPP Disinformation PoisonedRAG PR-Attack PIDP 쿼리 경로 조작 ✗ ✓ ✓ ✓ ✗ ✗ ✓ ✓ 코퍼스 경로 조작 ✓ ✗ ✗ ✗ ✓ ✓ ✓ ✓ 사용자 쿼리를 인식하지 못함 ✗ ✓ ✓ ✗ ✗ ✗ ✗ ✓ 검색 조종 ✓ ✗ ✗ ✓ ✓ ✓ ✓ ✓ 리트리버 블랙박스 ✗ ✓ ✓ ✗ ✓ ✓ ✗ ✓ LLM 블랙박스 ✓ ✗ ✓ ✓ ✓ ✓ ✗ ✓ 로컬 경량 계산 ✗ ✗ ✓ ✗ ✓ ✓ ✗ ✓ 평균 ASR 1.8 이렇게 검색된 문서는 사용자 쿼리와 함께 대규모 언어 모델에 대한 입력으로 생성기에 전달되고, 생성기는 이 결합된 정보를 기반으로 해당 응답을 생성합니다. 핵심 제안은 구체적으로, 우리의 방법은 높은 검색 정밀도를 유지하면서 개방형 도메인 QA 작업에서 공격 성공률을 4%-16% 향상시켜 복합 공격 전략이 필요하고 매우 효과적이라는 것을 입증합니다. RAG 시스템은 대규모 데이터베이스에서 검색된 관련 외부 지식에 응답을 기반으로 LLM을 강화함으로써 생성된 답변의 사실적 정확성과 적시성을 향상시킵니다. 이점에도 불구하고 RAG 아키텍처는 공격 표면을 확장하여 새로운 보안 취약점을 발생시킵니다. 완화 1 [cs.CR] 2026년 3월 26일 Property Corpus GCG Clean-RAG GGPP Disinformation PoisonedRAG PR-Attack PIDP 쿼리 경로 조작 ✗ ✓ ✓ ✓ ✗ ✗ ✓ ✓ 코퍼스 경로 조작 ✓ ✗ ✗ ✗ ✓ ✓ ✓ ✓ 사용자 쿼리를 인식하지 못함 ✗ ✓ ✓ ✗ ✗ ✗ ✗ ✓ 검색 조정 ✓ ✗ ✗ ✓ ✓ ✓ 경험적 사례는 제한된 수의 중독된 통로가 있는 대부분의 시나리오에서 다른 공격에 비해 더 높은 공격 성공률(ASR)을 달성한다는 것을 보여줍니다. [21]은 통합 대형 모델 애플리케이션에 대한 공격에서 높은 성공률을 달성한 프롬프트 주입 공격에 대한 벤치마크를 제안했습니다. 제한된 수의 중독된 통로를 사용하는 대부분의 시나리오에서 다른 공격에 비해 더 높은 공격 성공률(ASR)을 달성한다는 것을 보여줍니다. • 우리는 여러 데이터 세트(자연 질문, HotpotQA, MS-MARCO) 및 최첨단 LLM에 대해 광범위한 평가를 수행하여 PIDP-Attack이 기존 단일 표면 기준보다 지속적으로 뛰어난 성능을 발휘한다는 것을 보여줍니다. 중앙 보고 결과는 [21] 통합 대형 모델 애플리케이션에 대한 공격에서 높은 성공률을 달성한 프롬프트 주입 공격에 대한 벤치마크를 제안했습니다. 제한된 수의 중독된 통로를 사용하는 대부분의 시나리오에서 다른 공격에 비해 더 높은 공격 성공률(ASR)을 달성한다는 것을 보여줍니다. • 우리는 여러 데이터 세트(자연 질문, HotpotQA, MS-MARCO) 및 최첨단 LLM에 대해 광범위한 평가를 수행하여 PIDP-Attack이 기존 단일 표면 기준보다 지속적으로 뛰어난 성능을 발휘한다는 것을 보여줍니다. 또한 이 문서에서는 R과 G를 블랙박스로 취급한다는 점을 분명히 밝혔습니다. 이는 제3자가 호스팅하고 시간이 지남에 따라 업데이트되며 매개변수 수준에서 공격자가 액세스할 수 없을 수 있습니다. 전반적으로, 이 논문은 제안된 방법이 보고된 비교에 의해 직접적으로 뒷받침되는 부분에서 가장 설득력이 있지만, 청구 범위는 평가 설정 및 명시된 제한 사항을 고려하여 읽어야 합니다.

핵심 결론

문제 정의

핵심 아이디어/방법

실제 결과

결론이 나온 과정

실험 설정/결과

한계/리스크