const pdfs = [
    {
      path: 'src/app/data/2024少兒編程教育行業發展趨勢報告.pdf',
      category: '少兒編程',
    },
    {
      path: 'src/app/data/2021年低代碼行業研究報告.pdf',
      category: '低代碼',
    },
  ];
for (const pdf of pdfs) {
    const { path, category } = pdf;
    const pdfContent = awaitloadPdf(path); // pdf 文件解析
    const documents = awaitsplitDocuments(pdfContent); // 文檔切分
    for (constdocumentof documents) {
      // 添加元數據
      document.metadata.category = category; // 少兒編程 or 低代碼
    }
    awaitaddDocuments(documents); // 保存文檔到向量數據庫
  }

"question": "少兒編程教育行業當前的發展動力主要來自哪些方面？",
"retrievedContext": [
  "低代碼行業發展趨勢-產品易用性提升路徑\n基礎能力\n易用性\n增加引擎和交付模塊數量，提升整個集成引擎\n的組合方式，覆蓋更多應用場景。\n?架構落地\n增加引擎和交付模塊數量，提升整個集成引擎\n的組合方式，覆蓋更多應用場景。\n?平臺架構設計\n客戶知道怎么設計才能發揮無代碼、低代碼平\n臺的真正能力，現階段國內對這方面認知逐漸\n提升。\n低\n代\n碼\n/\n零\n代\n碼\n產\n品\n落地能力\n使用能力",
  "低代碼商業模式-前后端開發平臺\n廠商角度\n?廠商角度：面向具有一定開發能力的專業人員，降低專業開發人員的使用門檻，減少對\n高級別研發人員的依賴，大大提升了開發效率和降低開發人員成本。\n軟件開發商\n產品提供方\n低代碼平臺廠商\n微服務架構\n大多提供給一\n定開發能力的\n專業人員。\nDevOps\n控件、組件\n企業\n客戶\n元數據管理\n......\n中臺化能力",
  "?多鯨是多鯨資本旗下教育行業垂直內容平臺，專注產業視角下的教育行\n業研究，依托對教育產業的深度認知，通過原創圖文視頻等媒體內容、\n鏈接一線教育從業者的線上線下活動，打造教育行業媒體影響力，與教\n育從業者同行，助力行業發展。\n掃\n\n描\n\n二\n\n維\n\n碼\n\n關\n\n多\n\n鯨\n獲\n\n取\n\n更\n\n多\n\n資\n\n訊"
],

/**
 * 問題優化 - 意圖識別
 * @param question 原始問題
 * @returns
 */
async function intentRecognition(question) {
  const prompt = `
你是一個語言專家，你的任務是分析下面的問題是屬于哪個領域。

說明：
1. 無法判斷時，默認為“少兒編程”；
2. 只需要回答領域名稱，不要輸出其他內容。

領域列表：
["少兒編程", "低代碼"]

問題：
${question}

回答：

  `;
  const res = await generateModel.invoke(prompt);
  const data = res.content;
  console.log('intentRecognition: ', data);
  return data;
}

// 意圖識別
const intent = await intentRecognition(evaluateData.question);

// 檢索條件
const vectorFilter = {
  category: intent, // 將意圖作為篩選條件
};

// 文檔檢索
const docs = await chromadb.similaritySearchWithScore(
  question,
  topK,
  vectorFilter
);

"question": "少兒編程教育行業當前的發展動力主要來自哪些方面？",
"retrievedContext": [
  "?多鯨是多鯨資本旗下教育行業垂直內容平臺，專注產業視角下的教育行\n業研究，依托對教育產業的深度認知，通過原創圖文視頻等媒體內容、\n鏈接一線教育從業者的線上線下活動，打造教育行業媒體影響力，與教\n育從業者同行，助力行業發展。\n掃\n\n描\n\n二\n\n維\n\n碼\n\n關\n\n多\n\n鯨\n獲\n\n取\n\n更\n\n多\n\n資\n\n訊",
  "的需求，具備快速成長和創造巨大價值的潛力。然而，曾經的從業邏輯，已不再適配當前大量新玩家涌入、市場\n競爭愈發激烈的全新格局。",
  "具保持同步。\n【多鯨資本創始合伙人/姚玉飛 】\n?未來教育的關注點，是培養個性鮮明、獨立自強的大寫的“人”。我們希望孩子們面對一個繁雜多樣、極\n不確定的世界時，擁有高階的分析判斷力，能在給定條件下找到最優選擇。作為世界公認的未來語言，編\n程已經成為打造孩子們面向未來的核心競爭力的重要方式。"
],

/**
 * 問題優化 - 同義改寫
 * @param question 原始問題
 * @param num 同義改寫后的同義問題數量
 * @returns
 */
async function synonymyRewritten(question, num = 3) {
  const prompt = `
你是一個語言專家，你的任務是將給定的原始問題改寫成${num}個語義相同但表達方式不同的問題。

說明：
1. 嚴格按以下JSON格式返回：["問題1", "問題2", ...]，不能輸出其他無關內容。

原始問題：
${question}

回答：

  `;
  const res = await generateModel.invoke(prompt);
  const data = formatToJson(res.content) || [];
  console.log('synonymyRewritten: ', data);
  return data;
}

const allQuestions = [evaluateData.question];

// 同義改寫的問題
allQuestions.push(...evaluateData.synonymyQuestions);

// 檢索條件
const vectorFilter = {
category: evaluateData.category,
};

const allDocs = [];
while (allQuestions.length > 0) {
const question = allQuestions.shift();
const docs = await chromadb.similaritySearchWithScore(
    question,
    topK,
    vectorFilter
  );
  allDocs.push(...docs);
}

// 根據文檔 id 去重并按文檔相似度升序排列，最終取 topK 個文檔作為上下文
const uniqueDocs = Array.from(
newMap(allDocs.map((doc) => [doc[0].id, doc])).values()
);
uniqueDocs.sort((a, b) => a[1] - b[1]);

// 最終的上下文
const retrievedContext = uniqueDocs
  .slice(0, topK)
  .map((doc) => doc[0].pageContent);

/**
 * 問題優化 - 多視角分解
 * @param question 原始問題
 * @param num 多視角分解后的子問題數量
 * @returns
 */
async function subRewritten(question, num = 3) {
  const prompt = `
你是一個語言專家，你的任務是將給定的原始問題分解成${num}個不同視角的子問題。

說明：
1. 嚴格按以下JSON格式返回：["問題1", "問題2", ...]，不能輸出其他無關內容。

原始問題：
${question}

回答：

  `;
  const res = await generateModel.invoke(prompt);
  const data = formatToJson(res.content) || [];
  console.log('subRewritten: ', data);
  return data;
}

const allQuestions = [evaluateData.question];

// 多視角分解
allQuestions.push(...evaluateData.subQuestions);

// 檢索條件
const vectorFilter = {
category: evaluateData.category,
};

const allDocs = [];
while (allQuestions.length > 0) {
const question = allQuestions.shift();
const docs = await chromadb.similaritySearchWithScore(
    question,
    topK,
    vectorFilter
  );
  allDocs.push(...docs);
}

// 根據文檔 id 去重并按文檔相似度升序排列，最終取 topK 個文檔作為上下文
const uniqueDocs = Array.from(
newMap(allDocs.map((doc) => [doc[0].id, doc])).values()
);
uniqueDocs.sort((a, b) => a[1] - b[1]);

// 最終的上下文
const retrievedContext = uniqueDocs
  .slice(0, topK)
  .map((doc) => doc[0].pageContent);

/**
 * 問題優化 - 補充上下文
 * @param question 原始問題
 * @param maxLen 補充上下文的最大字符長度
 * @returns
 */
async function contextSupplement(question, maxLen = 200) {
  const prompt = `
你是一個語言專家，你的任務是根據給定的原始問題，生成一段與原始問題相關的背景信息。

說明：
1. 背景信息最大不超過${maxLen}個字符；
2. 只要輸出背景信息，不能輸出其他無關內容。

原始問題：
${question}

回答：

  `;
  const res = await generateModel.invoke(prompt);
  const data = res.content;
  console.log('supplementContext: ', data);
  return data;
}

const allQuestions = [evaluateData.question];

// 補充上下文
allQuestions.push(evaluateData.supplementaryContext);

// 檢索條件
const vectorFilter = {
category: evaluateData.category,
};

const allDocs = [];
while (allQuestions.length > 0) {
const question = allQuestions.shift();
const docs = await chromadb.similaritySearchWithScore(
    question,
    topK,
    vectorFilter
  );
  allDocs.push(...docs);
}

// 根據文檔 id 去重并按文檔相似度升序排列，最終取 topK 個文檔作為上下文
const uniqueDocs = Array.from(
newMap(allDocs.map((doc) => [doc[0].id, doc])).values()
);
uniqueDocs.sort((a, b) => a[1] - b[1]);

// 最終的上下文
const retrievedContext = uniqueDocs
  .slice(0, topK)
  .map((doc) => doc[0].pageContent);