Codex Questionnaire Workbook Analysis Practice Guide

From Data Structure to Pre-Test Reliability and Validity Report

本練習以 AI Agent，也就是 Codex，作為主要工具。學員會讓 Codex 直接讀取 pre-test.xlsx，整理 workbook 結構，抽取重要欄位，轉換題目分數，產生受試者層級結果表，並完成前測資料的信度與效度分析。如果時間允許，再繼續處理 post-test.xlsx，並做前後測共同填答者的 paired t-test。

Practice Goals

完成本模組後，你應該能夠：

• 說明 ChatGPT 類聊天工具在questionnairedataanalysis任務中的限制。
• 使用 Codex 讀取專案中的完整 Excel workbook。
• 要求 Codex 判讀工作表、header row、基本data欄位與題目欄位。
• 要求 Codex 抽取重要data並建立去識別化的受試者層級data表。
• 要求 Codex 將原始選項編號轉換為可analysis的 Likert 分數。
• 要求 Codex 產生pre-testdata的reliability與validityanalysis HTML 報告。
• 在Time允許時，延伸到post-testdata與 paired t-test。

Practice Data

先確認本資料夾中有以下檔案：

本次課堂主要完成 pre-test.xlsx。post-test.xlsx 與 paired t-test 放在延伸練習，不作為基本完成門檻。

路徑說明：本指南中的 Codex prompt 使用 workshop-materials-md/module2/data/pre-test.xlsx 這類路徑，是以工作坊根資料夾（workshop-materials-md 的上一層）作為 Codex 工作區為前提。若你的工作區直接開在 module2 或 module2/data，請把 prompt 中的路徑改成相對於目前工作區的寫法，例如 data/pre-test.xlsx 或 pre-test.xlsx。開始前先確認 Codex 目前綁定的工作區，再對照使用。

Tool Preparation

Step 1: Explain ChatGPT's Limits

teachers說明重點

ChatGPT 類聊天工具可用來快速討論資料結構與分析方向，但本練習只簡短說明它的限制：

• 它的回覆通常停留在對話中，不一定會把成果保存成專案檔案。
• 輸出檔案、版本與check紀錄需要使用者另外管理。
• 若沒有實際存檔與執行，較難確認workflow能不能重複使用。

Step 2：讓 Codex 判讀 pre-test.xlsx workbook 結構

你要做什麼

讓 Codex 先只分析 workbook schema，不要急著產生統計結論。這一步的目標是確認資料來源、工作表、header row、基本資料欄位與題目欄位。

🔹 可直接使用的 Codex prompt

讀取 workshop-materials-md/module2/data/pre-test.xlsx，
分析這份前測問卷 workbook 的結構。

列出工作表、主要分析來源、header row、基本資料欄位、Q1 到 Q16 題目欄位，
並判斷原始選項編號能不能直接當成 Likert 分數。

check重點

Codex 的回答至少要包含：

• workbook 中有四個工作表。
• 真正欄位名稱位於第 2 列，第 1 列是標題列。
• 主要analysis來源應使用 答題記錄(選項編號)。
• 基本data欄位包含 帳號、姓名、單位、填寫Time。
• 題目欄位範圍為 Q1 到 Q16。
• 原始選項編號不是最後可analysis分數。

Step 3: Ask Codex to Extract Key Data and Build a Result-Table Schema

你要做什麼

確認 workbook 結構後，讓 Codex 規劃受試者層級結果表。這一步仍先規劃欄位，不直接做報告。

本練習指定分數轉換規則：

Likert score = 8 - option_number

本練習指定四個構面：

🔹 可直接使用的 Codex prompt

規劃一份去識別化的受試者層級結果表。

每列代表一位填答者，不放姓名與帳號。
Q1 到 Q16 使用 score = 8 - option_number 轉成 Likert 分數。

加入四個構面平均：
IM = Q1, Q5, Q9, Q13
IR = Q2, Q6, Q10, Q14
ER = Q3, Q7, Q11, Q15
AM = Q4, Q8, Q12, Q16

先列出結果表 schema。

預期 schema

id, Q1, Q2, Q3, Q4, Q5, Q6, Q7, Q8,
Q9, Q10, Q11, Q12, Q13, Q14, Q15, Q16,
im, ir, er, am

check重點

• id 是去識別化代碼。
• Q1 到 Q16 都是轉換後 Likert 分數。
• im、ir、er、am 使用指定題號計算。
• Codex 沒有自行新增構面。
• Codex 沒有把姓名、帳號放進公開結果表。

Step 4: Ask Codex to Produce a Repeatable Data Extraction Workflow

你要做什麼

讓 Codex 把資料抽取與分數轉換寫成可重複執行的腳本，並輸出 HTML 結果表。

🔹 可直接使用的 Codex prompt

將 pre-test.xlsx 的資料抽取與分數轉換流程寫成可重複執行的 Python 腳本。

讀取 workshop-materials-md/module2/data/pre-test.xlsx，
使用「答題記錄(選項編號)」，處理第 2 列 header row，
將 Q1 到 Q16 轉成 Likert 分數，計算 im, ir, er, am，
並輸出深色主題 HTML：pre-test-result-table.html。

完成後說明腳本與 HTML 輸出位置。

check重點

• 腳本可再次執行。
• HTML 表格可用瀏覽器開啟。
• 表格欄位符合 Step 3 的 schema。
• 所有題目欄位已套用 score = 8 - option_number。
• 公開輸出沒有包含姓名、帳號等可識別data。

Step 5: Ask Codex to Analyze Pre-Test Reliability and Validity

你要做什麼

當結果表確認正確後，再讓 Codex 產生簡短的信度與資料檢查報告。課堂示範以資料檢查與 Cronbach alpha 為主。

解讀構面意義時，可參考 Guay, Vallerand, and Blanchard (2000) 的情境動機量表論文，用來整理 IM、IR、ER、AM 這些構面在本次問卷資料中的意義。

🔹 可直接使用的 Codex prompt

根據剛才產生的 pre-test 轉換後 Likert 結果表，
進行前測問卷的信度與效度分析。

報告需求：
1. 輸出為深色主題 HTML：pre-test-validity-reliability.html。
2. 預設使用台灣中文，並提供 English UI 切換。
3. 報告開頭要有分析結果概覽。
4. 至少包含：
   - 資料檢查
   - Cronbach alpha
5. 參考 https://selfdeterminationtheory.org/SDT/documents/2000_GuayVallerandBlanchard_MO.pdf，
   整理 IM、IR、ER、AM 各構面的意義，並說明本次收集到的問卷資料可以如何解讀。
6. 提醒本次樣本數小，結果只能視為課堂或工作坊層級的初步篩檢訊號，不是正式量表驗證。

check重點

• 報告有清楚的中文概覽。
• English 切換後，主要 UI 不應殘留中文介面文字。
• 報告清楚標示樣本數。
• reliability與validity結果有文字解釋，不只是表格。
• 報告有提醒小樣本限制。

Step 6: Ask Codex to Organize Findings and Limitations

你要做什麼

最後讓 Codex 把目前完成的前測分析整理成「已完成」與「限制」兩部分。這可以當作課堂收尾，也能提醒學員不要把小樣本分析誤解為正式量表驗證。

🔹 可直接使用的 Codex prompt

整理本次 pre-test.xlsx 分析成果。

分成兩部分：
1. 已完成：workbook 結構、重要資料抽取、分數轉換、構面平均、HTML 結果表、信度分析報告。
2. 下一步：樣本數限制、後測資料尚未處理、時間允許時可做 paired t-test。

check重點

• 已完成事項應能對應到實際產出檔案。
• 限制不能被寫成已解決問題。
• post-test與 paired t-test 應放在下一步，不要混入pre-test報告。

Time允許的延伸practice：處理 post-test.xlsx 並做 paired t-test

如果前測結果表與信效度報告已完成，可以建議學員繼續處理 post-test.xlsx。延伸練習分成兩段：先產生後測結果表，再做前後測共同填答者的 paired t-test。

🔹 延伸 prompt 1：產生post-test結果表

將 pre-test.xlsx 的資料處理流程套用到
workshop-materials-md/module2/data/post-test.xlsx。

使用相同規則產生去識別化後測結果表，
並輸出 HTML：post-test-result-table.html。

🔹 延伸 prompt 2：進行 paired t-test

根據 pre-test 與 post-test 的結果表，
找出前後測共同填答者，並針對 im, ir, er, am 四個構面進行 paired t-test。

輸出共同填答者人數、各構面的前後測平均、平均差、p 值，
並用一小段文字提醒小樣本限制。

Final Acceptance Checklist

• [ ] 已說明 ChatGPT 類聊天工具在本任務中的限制。
• [ ] Codex 已判讀 pre-test.xlsx workbook 結構。
• [ ] Codex 已指出真正欄位名稱位於第 2 列。
• [ ] Codex 已指定 答題記錄(選項編號) 作為主要analysis來源。
• [ ] Codex 已區分原始選項編號與 Likert 分數。
• [ ] 已確認 score = 8 - option_number。
• [ ] 已確認 IM、IR、ER、AM 四個構面分組。
• [ ] 已產生去識別化受試者層級結果表。
• [ ] 已產生可重複執行的data處理腳本。
• [ ] 已產生pre-test HTML 結果表。
• [ ] 已產生pre-test信validityanalysis HTML 報告。
• [ ] 報告已提醒小樣本限制。
• [ ] 公開輸出沒有暴露姓名、帳號等可識別data。
• [ ] 若Time允許，已suggestion繼續處理 post-test.xlsx 與 paired t-test。

Reflection Questions

1. Codex 在這個任務中完成了哪些實際檔案操作？
2. 為什麼原始選項編號不能直接當作 Likert 分數？
3. 你會如何檢查 Codex 是否把題目放進正確構面？
4. 如果要把這套流程用在自己的課程問卷，你需要先移除哪些個人資料？