I risultati sono disponibili?
No. Il rapporto attuale è un protocollo in bozza e non contiene numeri prestazionali pubblici.
Evidenze prima delle affermazioni
Benchmark del flusso di ricerca
Questa pagina pubblica il piano di misurazione prima dei risultati. In bozza i valori sono vuoti e non possono essere presentati come prestazioni.
Il benchmark ha un livello reale, con la configurazione normale di ogni prodotto, e un livello controllato, con lo stesso modello e lo stesso corpus per Kosmico e per uno stack tradizionale.
Due livelli rispondono a domande diverse
Il livello reale confronta Kosmico, ChatGPT Deep Research, NotebookLM ed Elicit nelle configurazioni normali. Quello controllato isola lo spazio di lavoro mantenendo modello e corpus uguali rispetto a modello, ricerca accademica, Zotero e Overleaf.
Il lavoro deve essere riproducibile
Quattro flussi di lavoro su cinque discipline, tre ripetizioni per condizione, due esperti che valutano alla cieca e risolvono i disaccordi. Si conservano dati grezzi delle esecuzioni, griglia di valutazione, descrizione dell'ambiente e numerosità dei campioni.
Nessun numero prima dell'approvazione
Un risultato viene pubblicato solo quando ogni metrica ha un valore, esistono data e indirizzo delle esecuzioni, e la revisione delle evidenze ha approvato l'affermazione.
Stato del benchmark
Protocollo in bozza
draftIl protocollo è pubblico, i risultati non ancora. Ogni valore resta vuoto finché le evidenze non sono state riviste e i dati grezzi delle esecuzioni pubblicati.
Protocollo
4 flussi di lavoro, 5 ambiti disciplinari, 3 ripetizioni per condizione, 2 valutatori esperti in cieco.
Condizioni
- Configurazione predefinita di Kosmico (reale)
- ChatGPT Deep Research (reale)
- NotebookLM (reale)
- Elicit (reale)
- Condizione controllata di Kosmico (controllata)
- Modello + ricerca accademica + Zotero + Overleaf (controllata)
Metriche
37
Misure su flusso, autonomia, contesto, recupero, evidenze, arresto, affidabilità, costi e visibilità negli LLM. Valori pubblici: nessuno durante la bozza.
Materiale conservato
- dati grezzi delle esecuzioni
- griglia di valutazione
- descrizione dell'ambiente
- numerosità dei campioni
Domande e risposte
Perché un confronto controllato?
Aiuta a separare l'effetto dello spazio di lavoro e della pipeline dalle differenze tra modelli o corpora.
Le esecuzioni saranno pubbliche?
Per pubblicare servono l'indirizzo dei dati grezzi, la griglia di valutazione, la descrizione dell'ambiente, la numerosità dei campioni e il processo di valutazione dichiarato.