《 用AI撰寫論文的信度和效度之探討 - 分論 》

 一、研究設計概述

於研究過程中導入生成式人工智慧（Generative Artificial Intelligence, 以下簡稱AI），以輔助研究者在四個階段之工作：

1. 文獻整合
2. 題項生成、
3. 假設模型建構以及
4. 結果與討論撰寫。

AI工具（採用OpenAI GPT-5大型語言模型）主要用於文本生成與概念構念分析，其結果均經由研究團隊人工審查與統計驗證，以確保研究內容之信度（reliability）與效度（validity）。

為確保AI生成內容符合學術研究標準，建議採三層檢核程序：

1. AI自我一致性檢查（auto-consistency check）；
2. 專家審查與人工比對（expert review）；
3. 統計與語義驗證（statistical and semantic validation）。

以下分別就四個研究階段說明AI輔助生成之程序及其信效度驗證方式。

---

二、文獻整合（Literature Synthesis）之信效度檢驗

在文獻整合階段，AI輔助彙整研究主題相關之理論與實證研究。

為確保AI生成文獻內容之真實性（authenticity validity），逐一查證AI引用之文獻來源，使用CrossRef及Google Scholar比對DOI與出版資訊，剔除不存在或錯誤引用之條目，文獻真實率達100%。

為驗證AI生成文本的一致性與穩定性，以相同提示語重複生成三次文獻綜述文本，並以BERTScore與餘弦相似度比對語義一致性，平均相似度達0.91。

理論一致性部分，研究團隊成員分別審查AI生成文獻整合內容，確認其與核心理論架構相符，理論一致率超過90%。

此外，檢視生成文獻之發表年份分布，近五年內文獻佔比達65%，顯示內容具時效性（currency validity）。

1️研究階段功能

AI協助彙整理論基礎與相關研究，生成初步文獻摘要、引用與關聯分析。

2️信效度驗證策略

檢驗類型	驗證方法	指標或依據	工具／程序
內容真實性  (Authenticity Validity)	文獻來源查證	引用文獻存在率100%、 內容一致率>95%	CrossRef /  Google Scholar 驗證
語義一致性信度  (Semantic Reliability)	同prompt多次生成比較	語義相似度>0.9	BERTScore / cosine similarity
理論一致性  (Theoretical Consistency)	人工審查AI生成文獻整合是否與理論一致	專家或研究團隊 雙重檢核	雙人比對表格
資料新鮮度  (Currency Validity)	比對文獻發表年份分布	近五年文獻 佔比>50%	Zotero / EndNote報表

3️實作示例

為確保AI整合文獻之真實性，本研究逐一核對引用文獻DOI並刪除不存在之條目。

同prompt生成三次後以BERTScore比對，語義一致性達0.92，顯示AI生成文獻摘要之穩定性良好。

---

三、題項生成（Item Generation）之信效度檢驗

在題項生成階段，AI根據既有理論與文獻生成各構面之初步題項。

為確保內容代表性與理論一致性，邀請三位領域專家進行內容效度評估（content validity assessment），並採Delphi法逐輪修正題項表達。

以內容效度比率（Content Validity Ratio, CVR）與內容效度指數（Content Validity Index, CVI）作為評估指標，CVI值均高於0.8，顯示題項具良好內容效度。

隨後，透過前測樣本（n=50）進行探索性因素分析（Exploratory Factor Analysis, EFA），確認題項群聚情形與構念結構。

正式問卷（n=300）再以驗證性因素分析（Confirmatory Factor Analysis, CFA）檢視模型適配度。

CFA結果顯示模型適配度良好（χ²/df=2.45, CFI=0.94, TLI=0.91, RMSEA=0.06），各因子負荷值均高於0.6。Cronbach’s α介於0.81至0.89之間，顯示內部一致性良好。

此外，為驗證AI生成內容之語義一致性（semantic reliability），以相同提示語重複生成三次題項集合，並以餘弦相似度（cosine similarity）檢驗語義穩定性，平均相似度達0.93，顯示AI在語義層面具高度一致性。

1️研究階段功能

AI（如 GPT-5）根據理論構面生成初步問卷題項（每構面6題），作為量表開發基礎。

2️信效度驗證策略

檢驗類型	驗證方法	指標或依據	工具／程序
內容效度  (Content Validity)	專家審查 （Expert Review）、 Delphi法	內容效度比率 CVR > 0、 內容效度指數 CVI > 0.8	三至五位領域 專家審查 AI生成題項與 理論一致性
建構效度  (Construct Validity)	探索性因素分析 （EFA）	KMO>0.6、 Bartlett球形檢定 顯著、 因子負荷>0.6	SPSS / JASP
收斂效度 (Convergent Validity)	驗證性因素分析 （CFA）	AVE>0.5、 CR>0.7、 標準化負荷>0.6	AMOS / SmartPLS
區辨效度  (Discriminant Validity)	Fornell-Larcker準則、 HTMT比率	AVE平方根> 相關係數、 HTMT<0.85	SmartPLS
信度  (Reliability)	Cronbach’s α、 Composite Reliability	α>0.7、 CR>0.7	SPSS / SmartPLS
語義一致性信度 (Semantic Reliability)	同prompt重複生成\ 語義相似度	cosine similarity > 0.9	Coh-Metrix、 BERTScore

3️實作示例（可直接寫入方法論）

為確保AI生成題項之信效度，本研究邀請三位領域專家進行內容審查，並以Delphi法修正表達。

透過前測樣本（n=50）進行EFA以檢驗建構效度，再以正式樣本（n=300）進行CFA確認模型適配度（CFI=0.94，RMSEA=0.05），Cronbach α均大於0.8。

---

 四、假設模型生成（Hypothesis Model Generation）之信效度檢驗

AI依據相關理論與文獻，自動生成變項間之假設關係與概念模型。

為驗證其理論合理性（theoretical validity），研究團隊比對AI生成之假設與既有理論脈絡，並由三位學者專家審查確認所有假設均有明確學理依據。

實證階段採結構方程模型（Structural Equation Modeling, SEM）進行建構效度（construct validity）與模型適配度驗證。

分析結果顯示模型之主要路徑係數均達顯著水準（p < .05），CFI與TLI皆大於0.9，RMSEA為0.05，顯示模型適配度良好。為檢視外部效度（external validity），研究另以多群組分析（multi-group analysis）進行交叉驗證，結果顯示路徑方向與顯著性一致，具穩健性（robustness）。

1️研究階段功能

AI根據文獻脈絡自動生成構面間之因果關係假設與模型架構（SEM路徑圖）。

2️信效度驗證策略

檢驗類型	驗證方法	指標或依據	工具／程序
理論合理性  (Theoretical Validity)	專家評估、 文獻交叉檢查	所有假設均有 學理依據	人工比對AI生成模型 與核心理論
建構效度  (Construct Validity)	結構方程模型 (SEM) 驗證	路徑顯著性 (p<0.05)、 β值合理、 模型適配度良好	AMOS / SmartPLS
外部效度  (External Validity)	不同樣本重估 模型	結果一致、 路徑方向穩定	多群組分析 / Cross-validation
穩健性  (Robustness)	敏感度分析	模型係數變化<10%	Bootstrap / Jackknife

3️實作示例

本研究以AI生成初步假設模型，並透過三位專家修正路徑方向。

使用AMOS進行SEM分析，模型適配度良好

（χ²/df=2.31, CFI=0.93, TLI=0.91, RMSEA=0.06），

顯示AI生成假設具建構效度與理論合理性。

---

五、結果與討論章節（Results & Discussion）

AI於結果與討論章節主要用於輔助撰寫初步解釋與政策建議。

為確保討論內容之邏輯合理性與事實正確性（logical and factual validity），採AI自我批判（self-critique prompting）與人工審查並行策略。

研究團隊對AI生成之敘述逐項比對統計分析結果，以確認其描述方向、顯著性與數據值一致。

同時，以相同統計資料重複輸入AI生成三次討論文本，計算語義相似度（cosine similarity）平均值0.88，顯示AI在解釋層面具高度穩定性。

經人工審查後，AI所生成之敘述與統計結果一致，未出現數據誤述或邏輯矛盾，顯示結果討論部分具良好語義信度與邏輯效度。

1️研究階段功能

AI根據統計分析結果生成初步解釋、結論與政策建議。

2️信效度驗證策略

檢驗類型	驗證方法	指標或依據	工具／程序
邏輯一致性  (Logical Validity)	人工或AI自我審查 （self-critique prompt）	解釋與統計結果 方向一致	ChatGPT /  GPT-5 self-review
事實正確性 (Factual Validity)	檢查AI生成之數據描述、 p值、 信賴區間	無邏輯矛盾或 統計誤述	SPSS/AMOS 交叉比對
理論呼應性  (Theoretical Validity)	檢視討論是否與研究假設、 文獻一致	相符率>90%	研究者審查
語義一致性信度 (Semantic Reliability)	重複生成討論段落比較語義 相似度	相似度>0.85	cosine similarity / GPT-5 Compare

3️實作示例

為檢驗AI生成討論之合理性，以相同統計結果輸入AI三次生成討論文本，比對語義相似度（cosine=0.88）。

經人工審查，AI敘述與統計方向一致，無邏輯或數據錯誤，顯示結果討論具邏輯與語義信度。

---

 

六、整體AI研究信效度驗證架構總表

綜上所述，採「三層防線」以確保AI參與研究各階段之信度與效度：

1.AI自我一致性檢查（Auto-consistency）：

   透過重複生成與語義比對，確保AI輸出穩定。

2.人工與專家審查（Expert Review）： 

   由領域學者與研究團隊交叉檢視內容正確性與理論一致性。

3.統計與實證驗證（Empirical Validation）： 

    以EFA、CFA、SEM等方法檢驗量表結構與假設模型的建構效度。

此綜合檢核程序不僅確保AI生成內容之研究品質，亦提供未來AI輔助研究信效  度驗證的可重現框架，符合學術倫理與實證嚴謹性要求。

AI參與階段	主要信效度面向	驗證方法	主要指標
題項生成	內容效度、 建構效度、 信度	EFA/CFA、 Expert Review	CVI>0.8、 α>0.7、 CFI>0.9
假設模型	理論合理性、建構效度	SEM分析、 專家評審	p<0.05、 CFI>0.9
文獻整合	內容真實性、語義一致性	文獻查證、BERTScore	文獻存在率=100%、相似度>0.9
結果討論	邏輯與語義效度	Self-critique、 人工比對	相似度>0.85、 數據一致性100%

---

七、建議寫法範例（可放於〈研究方法〉中）

本研究於題項生成、假設建構、文獻整合與結果討論四個階段引入AI協助。
為確保AI生成內容具信度與效度，採用三層檢核程序：

1. AI自我一致性檢查；
2. 專家與研究者審查；
3. 統計驗證。

透過EFA/CFA、SEM、語義相似度與文獻實證查核，結果顯示AI生成內容在內容、建構、語義與邏輯層面均具高度一致性與理論合理性。

----------------------------------

參考文獻:

 1. 文獻整合與倫理考量

• Hidayatullah et al. (2025) 指出，AI 可快速彙整文獻，但仍需人工核查引用來源與真實性，以確保學術誠信與資料可靠性。
• Ilie (2025) 強調 AI 文本生成必須透明披露，並遵守引用規範，以避免抄襲或捏造文獻。
• Ling Jen & Hj Salam (2024) 系統性回顧指出，AI 在文獻整合中應僅作為輔助工具，研究者必須保留批判性判斷。

(1)Hidayatullah, M. H., Suryati, N., Cahyono, B. Y., & Mawaddah, N. (2025). Exploring the ethical landscape of AI in academic writing. Egyptian Journal of Forensic Sciences, 15, Article 36.

https://doi.org/10.1186/s41935-025-00453-1

(2)Ilie, O.-A. (2025, July). The ethics of AI‑assisted academic writing: Authenticity criteria in the evaluation of students’ assignments. Knowledge-Based Organization, 31(2), 155–158.

https://doi.org/10.2478/kbo-2025-0063

(3)Ling Jen, S., & Hj Salam, A. R. (2024, February). A systematic review on the use of artificial intelligence in writing. International Journal of Academic Research in Progressive Education and Development, 13(1). https://ijarped.com/index.php/journal/article/view/683

2.題項生成與量表開發

• Mwita & Mwilongo (2024/2025) 指出，在使用 AI 協助生成問卷題項或研究量表時，研究者需維持「人工審核」與「理論對照」，確保題項符合研究構念與學術標準。
• Cheng, Calhoun & Reedy (2025) 建議 AI 生成的測量項目應先經過專家評估、內容效度檢驗（Content Validity Index, CVI）與前測，才能進入正式問卷，以避免 AI 誤導或偏差。

(1)Mwita, K., & Mwilongo, N. H. (2024/2025). The use of artificial intelligence in academic writing: What is ethical and what is not. Journal of Digital Learning and Education, 5(1), 17–27.

https://doi.org/10.52562/jdle.v5i1.1318

(2)Cheng, A., Calhoun, A., & Reedy, G. (2025). Artificial intelligence‑assisted academic writing: Recommendations for ethical use. Advances in Simulation, 10, Article 22.

https://doi.org/10.1186/s41077-025-00350-6

3.假設模型建構與方法論

• Mezzadri (2025) 提出 AI 輔助假設模型生成的「悖論」：雖可快速建立初步模型，但必須由研究者仔細驗證假設的理論合理性，否則 AI 模型可能偏離學術脈絡。
• Lin (2024) 強調，AI 在建構假設模型與分析架構時，研究者需對 AI 結果進行多層檢核（包括統計檢驗、跨樣本驗證），才能保證建構效度與結果穩健性。

(1)Mezzadri, D. (2025). The paradox of ethical AI-assisted research. Journal of Computing and Education.
https://doi.org/10.1007/s10805-025-09671-7

(2)Ling Jen, S., & Hj Salam, A. R. (2024, February). A systematic review on the use of artificial intelligence in writing. International Journal of Academic Research in Progressive Education and Development, 13(1).
https://ijarped.com/index.php/journal/article/view/683

4. 結果討論與應用層面

• Gao et al. (2025) 探討 AI 輔助結果撰寫的法律與政策框架，強調研究者需遵循著作權、資料保護與學術倫理。
• International Journal of Clinical Pharmacy (2024) 提出 AI 在教育與研究應用中可能提高效率，但若無人監督，可能產生解釋錯誤或數據誤讀。
• Advances in Simulation (2025, June) 提出策略建議，包括使用 AI 生成初稿後，進行人類審查、統計驗證與倫理審查，以確保結果可靠且可重現。

(1)Gao, R., Yu, D., Gao, B., et al. (2025). Legal regulation of AI-assisted academic writing: Challenges, frameworks, and pathways. Frontiers in Artificial Intelligence, 8, 1546064.

https://doi.org/10.3389/frai.2025.1546064

(2)International Journal of Clinical Pharmacy. (2024). Artificial intelligence in academic writing and clinical pharmacy education: Consequences and opportunities. International Journal of Clinical Pharmacy, 46, 751–754.

https://doi.org/10.1007/s11096-024-01705-1

(3)Advances in Simulation. (2025, June). Beyond recommendations: Expanding the ethical discourse on AI-assisted academic writing. Advances in Simulation, 10, Article 31.

https://doi.org/10.1186/s41077-025-00362-2

 

5. 綜合建議與最佳實踐

• Cheng, Calhoun & Reedy (2025)、Hidayatullah et al. (2025)、Lin (2024) 一致認為，AI 可作為研究輔助工具，但研究者需對其生成內容進行三層檢核：

1.     AI 自我一致性檢查（多次生成與語義比對）；

2.     人工與專家審查（理論、引用、語義）；

3.     統計與實證驗證（EFA、CFA、SEM 等）。

此流程可確保 AI 生成題項、假設、文獻整合與結果討論的 信度與效度，同時符合倫理規範與學術誠信要求。

(1)Cheng, A., Calhoun, A., & Reedy, G. (2025). Artificial intelligence‑assisted academic writing: Recommendations for ethical use. Advances in Simulation, 10, Article 22.

https://doi.org/10.1186/s41077-025-00350-6

(2)Hidayatullah, M. H., Suryati, N., Cahyono, B. Y., & Mawaddah, N. (2025). Exploring the ethical landscape of AI in academic writing. Egyptian Journal of Forensic Sciences, 15, Article 36.

https://doi.org/10.1186/s41935-025-00453-1

(3)Lin, Z. (2024, Jan). Beyond principlism: Practical strategies for ethical AI use in research practices. arXiv preprint.

https://arxiv.org/abs/2401.15284