knowledgebase overhaul

src/pages/api/ai/query.ts

@@ -94,6 +94,17 @@ function createWorkflowSystemPrompt(toolsData: any): string {
     skillLevel: tool.skillLevel,
     license: tool.license,
     tags: tool.tags,
+    related_concepts: tool.related_concepts || []
+  }));
+
+  // NEW: Include concepts for background knowledge
+  const conceptsList = toolsData.concepts.map((concept: any) => ({
+    name: concept.name,
+    description: concept.description,
+    domains: concept.domains,
+    phases: concept.phases,
+    skillLevel: concept.skillLevel,
+    tags: concept.tags
   }));
 
   // Get regular phases (no more filtering needed)
@@ -135,9 +146,12 @@ function createWorkflowSystemPrompt(toolsData: any): string {
 
   return `Du bist ein DFIR (Digital Forensics and Incident Response) Experte, der Ermittlern bei der Auswahl von Software und Methoden hilft.
 
-VERFÜGBARE DATENBASIS:
+VERFÜGBARE TOOLS/METHODEN:
 ${JSON.stringify(toolsList, null, 2)}
 
+VERFÜGBARE HINTERGRUNDWISSEN-KONZEPTE:
+${JSON.stringify(conceptsList, null, 2)}
+
 UNTERSUCHUNGSPHASEN (NIST Framework):
 ${phasesDescription}
 
@@ -152,6 +166,8 @@ WICHTIGE REGELN:
 5. Deutsche Antworten für deutsche Anfragen, English for English queries
 6. Bewerbe NIEMALS Proprietäre Software fälschlicherweise als Open-Source-Software, erkenne aber an, falls diese besser geeignet sein könnte.
 7. Bevorzuge alles, was nicht proprietär ist (license != "Proprietary"), aber erkenne an, wenn proprietäre Software besser geeignet ist.
+8. WICHTIG: Erwähne relevante Hintergrundwissen-Konzepte wenn Tools verwendet werden, die related_concepts haben
+9. Konzepte sind NICHT Tools - empfehle sie nicht als actionable Schritte, sondern als Wissensbasis
 
 SOFTWARE/METHODEN-AUSWAHL NACH PHASE:
 ${phaseDescriptions}
@@ -164,13 +180,19 @@ ANTWORT-FORMAT (strict JSON):
   "scenario_analysis": "Detaillierte Analyse des Szenarios auf Deutsch/English",
   "recommended_tools": [
     {
-      "name": "EXAKTER Name aus der Database",
+      "name": "EXAKTER Name aus der Tools-Database",
       "priority": "high|medium|low", 
       "phase": "${validPhases}",
       "justification": "Warum diese Methode für diese Phase und Szenario geeignet ist"
     }
   ],
   "workflow_suggestion": "Vorgeschlagener Untersuchungsablauf",
+  "background_knowledge": [
+    {
+      "concept_name": "EXAKTER Name aus der Konzepte-Database",
+      "relevance": "Warum dieses Konzept für das Szenario relevant ist, und bei welchen der empfohlenen Methoden/Tools."
+    }
+  ],
   "additional_notes": "Wichtige Überlegungen und Hinweise"
 }
 
@@ -189,14 +211,28 @@ function createToolSystemPrompt(toolsData: any): string {
     license: tool.license,
     tags: tool.tags,
     url: tool.url,
-    projectUrl: tool.projectUrl
+    projectUrl: tool.projectUrl,
+    related_concepts: tool.related_concepts || []
+  }));
+
+  // NEW: Include concepts for background knowledge
+  const conceptsList = toolsData.concepts.map((concept: any) => ({
+    name: concept.name,
+    description: concept.description,
+    domains: concept.domains,
+    phases: concept.phases,
+    skillLevel: concept.skillLevel,
+    tags: concept.tags
   }));
 
   return `Du bist ein DFIR (Digital Forensics and Incident Response) Experte, der bei der Auswahl spezifischer Software/Methoden für konkrete Probleme hilft.
 
-VERFÜGBARE DATENBASIS:
+VERFÜGBARE TOOLS/METHODEN:
 ${JSON.stringify(toolsList, null, 2)}
 
+VERFÜGBARE HINTERGRUNDWISSEN-KONZEPTE:
+${JSON.stringify(conceptsList, null, 2)}
+
 WICHTIGE REGELN:
 1. Analysiere das spezifische Problem/die Anforderung sorgfältig
 2. Empfehle 1-3 Tools, sortiert nach Eignung (beste Empfehlung zuerst)
@@ -207,13 +243,15 @@ WICHTIGE REGELN:
 7. Erwähne sowohl Stärken als auch Schwächen/Limitationen
 8. Schlage alternative Ansätze vor, wenn sinnvoll
 9. Gib grundsätzliche Hinweise, WIE das Tool konkret eingesetzt wird
+10. WICHTIG: Erwähne relevante Hintergrundwissen-Konzepte wenn Tools verwendet werden, die related_concepts haben
+11. Konzepte sind NICHT Tools - empfehle sie nicht als actionable Schritte, sondern als Wissensbasis
 
 ANTWORT-FORMAT (strict JSON):
 {
   "problem_analysis": "Detaillierte Analyse des Problems/der Anforderung",
   "recommended_tools": [
     {
-      "name": "EXAKTER Name aus der Database",
+      "name": "EXAKTER Name aus der Tools-Database",
       "rank": 1,
       "suitability_score": "high|medium|low",
       "detailed_explanation": "Detaillierte Erklärung, warum dieses Tool/diese Methode das Problem löst",
@@ -223,6 +261,12 @@ ANTWORT-FORMAT (strict JSON):
       "alternatives": "Alternative Ansätze oder ergänzende Tools/Methoden, falls relevant"
     }
   ],
+  "background_knowledge": [
+    {
+      "concept_name": "EXAKTER Name aus der Konzepte-Database",
+      "relevance": "Warum dieses Konzept für die empfohlenen Tools/das Problem relevant ist, und für welche der empfohlenen Methoden/Tools."
+    }
+  ],
   "additional_considerations": "Wichtige Überlegungen, Voraussetzungen oder Warnungen"
 }
 
@@ -353,12 +397,13 @@ export const POST: APIRoute = async ({ request }) => {
       });
     }
 
-    // Validate tool names against database based on mode
+    // Validate tool names and concept names against database
     const validToolNames = new Set(toolsData.tools.map((t: any) => t.name));
+    const validConceptNames = new Set(toolsData.concepts.map((c: any) => c.name));
+    
     let validatedRecommendation;
 
     if (mode === 'workflow') {
-      // Existing validation for workflow mode
       validatedRecommendation = {
         ...recommendation,
         recommended_tools: recommendation.recommended_tools?.filter((tool: any) => {
@@ -367,10 +412,16 @@ export const POST: APIRoute = async ({ request }) => {
             return false;
           }
           return true;
+        }) || [],
+        background_knowledge: recommendation.background_knowledge?.filter((concept: any) => {
+          if (!validConceptNames.has(concept.concept_name)) {
+            console.warn(`AI referenced unknown concept: ${concept.concept_name}`);
+            return false;
+          }
+          return true;
         }) || []
       };
     } else {
-      // New validation for tool mode
       validatedRecommendation = {
         ...recommendation,
         recommended_tools: recommendation.recommended_tools?.filter((tool: any) => {
@@ -385,12 +436,19 @@ export const POST: APIRoute = async ({ request }) => {
           suitability_score: tool.suitability_score || 'medium', // Default suitability
           pros: Array.isArray(tool.pros) ? tool.pros : [],
           cons: Array.isArray(tool.cons) ? tool.cons : []
-        })) || []
+        })) || [],
+        background_knowledge: recommendation.background_knowledge?.filter((concept: any) => {
+          if (!validConceptNames.has(concept.concept_name)) {
+            console.warn(`AI referenced unknown concept: ${concept.concept_name}`);
+            return false;
+          }
+          return true;
+        }) || []
       };
     }
 
     // Log successful query
-    console.log(`[AI Query] Mode: ${mode}, User: ${userId}, Query length: ${sanitizedQuery.length}, Tools: ${validatedRecommendation.recommended_tools.length}`);
+    console.log(`[AI Query] Mode: ${mode}, User: ${userId}, Query length: ${sanitizedQuery.length}, Tools: ${validatedRecommendation.recommended_tools.length}, Concepts: ${validatedRecommendation.background_knowledge?.length || 0}`);
 
     return new Response(JSON.stringify({
       success: true,