在我们的焊接系统评估开始时，我们决定任何认可的系统必须至少与我们现有的系统一样好，不管价格。与工业中其它人的讨论使我们相信我们现有的焊接系统是一个非常令人敬畏的敌人。我们的目标是以许多标准来评估许多的供应商。我们将认可所有比我们现有系统表现更好的系统。
通过认可几个不同的系统，采购部门将能够讨价还价，而不陷入唯一来源。当我们简单地宣布我们计划进行评估时，我们现在的焊锡系统供应商将其价格降低39%! 认可几个不同的系统给你机会节约公司的资金。
要评估哪些制造商？ 评估中我们的第一步是决定我们要求的锡膏(solder paste)类型。我们的板有密间距(fine pitch，小于 20-mil)、侵入式回流焊接(通孔引脚在锡膏中pin-in-paste)、双面回流焊接和胶点。通过考查我们的工艺过程和几个锡膏制造商一起工作，我们决定我们需要免洗、低残留物、探针可测试的(pin testable)、63锡/37铅、90%金属含量的锡膏。提前决定这些需求缩短了涉及索求报价的时间与工作。简单地询求每年多少重量的锡膏将使供应商判断我们的需求，引导他们适当地报价不同的产品。专门确定我们所要求的锡膏是比较不同制造商类似产品的最好方法。
其次，我们决定应该让哪些供应商来完成评估。我们开始包括我们认为是主要制造商的。我们现存的系统用作其它产品比较的基线。因为我们正评估整个焊接系统，我们优先放在那些提供锡膏、助焊接和返工材料的制造商。可是，如果两家公司愿意一起工作提供其相互合作的证明 - 例如，一个供应助焊剂，一个供应锡膏 - 那么我们允许评估他们。可是，注意，如果将来发生问题，这种设置可能导致许多相互指责。
在决定评估的供应商后，我们准备一个报价请求(RFQ, request for quote)。这时我们通知采购部门，允许他们对RFQ作适当的商业上的修改。RFQ的其中一行叙述，“报价可能作为候选系统选择的最初尝试，我们强烈鼓励进取报价。”我们要求报价在规定日期 - 10 个日历日 - 回到我们的采购部门。任何错过这个日期的供应商都从评估去掉。我们认为在规定的时间回答与否表明供应商对客户的反应时间。
由于允许报价的制造商的数量，我们需要基于反应时间和价格的标准上减少名单。在报价限期的第二天，我们取消了一个因为其价格非常高的制造商，和一个没有在规定时间反应的制造商。我们剩下五个候选的制造商和我们的基线系统需要评估。
选择试验载体 对这个评估，我们决定使用一种产品板，不计划任何毁坏性的试验。为了使用一种产品板作评估，我们不得不相信锡膏制造商提供的资料。我们选择我们通常在生产中处理的最变化多的板。这种板使用了密间距已经和侵入式回流焊接(intrusive reflow)。它也使用了双面锡膏，这允许我们通过测试顶面的和底面的一些载体减少试验的总数。
设计试验 为了这次评估的目的，我们决定进行一个统计有效的试验设计(DoE, design of experiment)。首先，我们选择锡膏将要评估的变量 - 变量的数量越少，运行试验的数量就越少。选择了以下四个变量：印刷后的保留时间、贴装后的保留时间、锡膏的不同批号、和回流焊接环境。选择这些变量是因为其对我们的工艺过程重要，可是，对于你们各自的过程需要应该改变变量的选择。虽然在最后认可之前需要评估更多的变量，但是这四个变量允许我们缩窄竞争。
对于四个变量的每一个，我们选择高与低值。每个保持时间的高与低值分别为二与零小时。锡膏批号的高与低值简单地就是来自不同制造商的两个不同批号。回流焊接环境的高与低值是氮气和空气。
我们设计该DoE来评估在运行底面时的两个变量和在运行顶面时的两个变量。该DoE也是设定成在大多数时间有效的顺序来运行，因为经常改变锡膏和清洗模板(stencil)是没有效率的。我们使用的板有一个30的批量。表一显示用于运行所有评估板的矩阵。该矩阵对每一种锡膏重复使用。
下面是运行A的分项列出： 底面步骤 印刷板1~7，使用制造批号A。 印刷后保持两个小时(变量1)。 贴装元件。 贴装元件后保持两小时(变量2)。 把板翻转底朝天10分钟。 数出移位元件的数量和类型。 替换跌落的元件。 在空气中回流焊接板。 顶面步骤 印刷板1~7，使用制造批号A(变量3)。 贴装元件。 在空气中回流焊接板(变量4)。
运行板 整个试验在开始实际运行之前设计好。设计好的试验在评估开始前送给所有锡膏制造商。包括在步骤一起的是我们的回流焊接炉和印刷机的温度曲线和设定。送这些信息给锡膏制造商的目的是要保证我们不会为了我们现在系统的优点而偏置试验。还有，我们不想任何设定问题使整个评估的有效性受到怀疑。几个制造商要求我们在开始之前增加印刷其锡膏的速度，因为他们感觉其锡膏会表现更好。 我们想出了一个编号方案，给每个板一个唯一的确认，从而标贴每一块板。
板的运行使用我们标准的工艺步骤。当从一个锡膏制造商改变到另一个时，模板和刮板很彻底地清洗。我们使用了一台自动模板清洗机以避免各人清洗能力的多出一个变量。
在板的底面贴装元件之后，我们把板翻转，保持10分钟。这个步骤是测量锡膏的湿强度(green strength)。在这一步没有元件掉落。我们的试验的严密性不足以区分不同锡膏的湿强度。
在运行这类试验时，记住你是在评估锡膏，不是在优化工艺。不要违背工艺。这些调整将偏转你的结果，并引入你没有计划的变量。
结果/缺陷记录
下一步，我们选择要记录的可观察的缺陷：锡球、锡桥、焊锡不足、开路、光泽、熔湿(wetting)和残留物。我们创建一个记录每个板上的所有缺陷的数据表。我们检查每个板，所有检查员都应该校对，以减少操作员之间结果的不同。 在我们工艺中一个重要的标准是在线测试机(ICT, in-circuit tester)的探针可测试性。为了这个测量的目的，我们在测试板时记录所有误失效。误失效定义为重测时不重复出现的失效。我们在测试使用不同锡膏的板时更换所有的ICT探针，因此助焊剂的任何累积都不会偏移剩下的测试。我们记录在ICT上的实际板的失效，然后消除与焊接无关的元件失效。
