fine-tuning of confidence

This commit is contained in:
overcuriousity
2025-08-05 16:23:47 +02:00
parent 183e36b86d
commit 27e64f05ca
4 changed files with 353 additions and 259 deletions

View File

@@ -147,7 +147,7 @@ Antworten Sie AUSSCHLIESSLICH mit diesem JSON-Format (kein zusätzlicher Text):
// Tool evaluation prompt
toolEvaluation: (userQuery: string, tool: any, rank: number) => {
return `Bewerten Sie diese Methode/Tool fallbezogen für das spezifische Problem nach forensischen Qualitätskriterien.
return `Sie sind ein DFIR-Experte und bewerten ein forensisches Tool für eine spezifische Aufgabe.
PROBLEM: "${userQuery}"
@@ -155,16 +155,26 @@ TOOL: ${tool.name}
BESCHREIBUNG: ${tool.description}
PLATTFORMEN: ${tool.platforms?.join(', ') || 'N/A'}
SKILL LEVEL: ${tool.skillLevel}
DOMAINS: ${tool.domains?.join(', ') || 'N/A'}
TAGS: ${tool.tags?.join(', ') || 'N/A'}
Bewerten Sie nach forensischen Standards und antworten Sie AUSSCHLIESSLICH mit diesem JSON-Format:
{
"suitability_score": "high|medium|low",
"task_relevance": 85,
"detailed_explanation": "Detaillierte forensische Begründung warum diese Methode/Tool das Problem löst",
"implementation_approach": "Konkrete methodische Schritte zur korrekten Anwendung für dieses spezifische Problem",
"pros": ["Forensischer Vorteil 1", "Validierter Vorteil 2"],
"cons": ["Methodische Limitation 1", "Potenzielle Schwäche 2"],
"limitations": ["Spezifische Einschränkung 1", "Mögliche Problematik 2"],
"alternatives": "Alternative Ansätze falls diese Methode/Tool nicht optimal ist"
}`;
}
WICHTIG:
- task_relevance: Numerischer Wert 0-100 wie gut das Tool für DIESE SPEZIFISCHE Aufgabe geeignet ist
- limitations: Konkrete Einschränkungen oder Situationen wo das Tool NICHT optimal wäre
- Berücksichtigen Sie den Skill Level vs. Anfrage-Komplexität
- Bewerten Sie objektiv, nicht beschönigend`;
},
// Background knowledge selection prompt
@@ -191,7 +201,7 @@ Antworten Sie AUSSCHLIESSLICH mit diesem JSON-Format:
// Final recommendations prompt
finalRecommendations: (isWorkflow: boolean, userQuery: string, selectedToolNames: string[]) => {
const prompt = isWorkflow ?
`Erstellen Sie eine forensisch fundierte Workflow-Empfehlung basierend auf DFIR-Prinzipien.
`Erstellen Sie eine Workflow-Empfehlung basierend auf DFIR-Prinzipien.
SZENARIO: "${userQuery}"
AUSGEWÄHLTE TOOLS: ${selectedToolNames.join(', ') || 'Keine Tools ausgewählt'}