03 Experiments, Reproducibility, and Projects - Introduction to Scientific Writing WS2021/22

《03 Experiments, Reproducibility, and Projects - Introduction to Scientific Writing WS2021/22》摘要 本文档围绕科学写作中的实验设计、可重复性以及结果展示展开讨论，重点强调了实验的规划、可重复性的重要性以及如何通过合理设计和呈现来增强研究的说服力。以下是核心内容： --- ### 1. **实验设计与规划** - **实验规划的重要性**：合理的实验规划可以避免“迷失”，使实验更易重复，同时明确数据集、工作负载、硬件、软件、指标和对比方案。 - **基础原则**：明确使用的数据集、运行的查询或工作负载、硬件和软件环境以及需要衡量的指标。 --- ### 2. **可重复性与研究数据管理 (RDM)** - **定义**： - **可重复性 (Repeatability)**：在相同条件下重现实验结果。 - **再生性 (Reproducibility)**：在不同条件下验证结果的稳健性。 - **SIGMOD 可重复性流程**： - 接受的论文提交实验包，由专家验证，可获得“ACM Results Replicated”或“ACM Artifacts Available”标签。 - 最佳可重复性论文奖（$750）激励高质量提交。 - **理想的可重复性提交**：提供完整的脚本和详细的说明，覆盖系统安装、数据生成、实验运行、结果生成和图表制作，最终重新编译论文。 --- ### 3. **实验与结果展示** - **硬件与软件选择**： - 避免过时硬件，选择适当的硬件配置（如节点数、CPU、内存等）和软件环境（如操作系统、编程语言版本等）。 - recommendation: 平衡硬件和软件细节的描述。 - **公平对比与参数范围**： - 避免通过刻意设置参数范围使结果看似更好。 - 使用适当的坐标轴范围，避免隐藏重要信息。 - **结果解释**： - 使用合适的工具理解结果，例如Java JIT编译和硬件缓存结构。 - 解释结果的意义，而不仅仅是报告数字。 --- ### 4. **基准测试与对比** - **基准的作用**： - 基准可以定义领域并促进创新。 - 常见基准包括数据管理（如TPC-H、TPC-DS）、大数据（如BigBench、HiBench）和机器学习（如MLPerf、DAWNBench）。 - **基线对比**： - 主要基线：与现有算法或系统的直接对比。 - 附加基线：不同运行环境或编译器的系统对比。 - 避免“弱基线”：确保对比的系统版本和配置具有代表性，避免仅展示速度提升而忽略绝对值。 --- ### 5. **实验中的常见问题与建议** - **可重复性准备需时间**：建议从项目初期就规划可重复性。 - **避免过于简化或复杂化硬件描述**：平衡细节，例如避免过于模糊（如“Intel CPU”）或过于冗杂（如详细硬件信息）。 - **理解实验结果**：通过工具分析核心问题，避免结果表面化。 --- ### 6. **案例参考** - **成果展示**：案例分析了如何通过合理的参数范围和图表设计避免误导。 - **基线对比**：引用研究指出对比不当可能导致结果不靠谱。 --- ### 总结 实验设计和可重复性是科学研究的核心，要通过合理规划、自动化脚本和详细文档确保实验的透明性和重复性，同时在结果展示中平衡细节，避免误导。