机器视觉系统主要部件包括：光源，镜头（有时包含滤光片），相机，图像采集卡，图像处理平台等。设计机器视觉系统的主要步骤是：
· 选择照相机类型
· 选定相机视野
· 计算视场
· 计算分辨率
· 估算运算负载
· 选择图像硬件处理平台
· 选择相机
· 选择镜头
· 选择照明技术
· 选取图像采集卡
· 规划图像处理算法
· 选择图像处理软件包
　　在机器视觉领域经常提到的传感器的感应元件是CMOS和CCD。CMOS可以为感光元件增加很多功能，而且由于CMOS的画面质量已经接近CCD，这使得CMOS成为许多应用一种可行的选择。CMOS的成本也与CCD低的多。
　　CCD允许的照度范围很广，而且在光线不足的条件下比CMOS更加敏感。CCD是被专门设计用于成像的产品，为了得到较高的图像质量，CCD感光元件是逐行接收光线的。CCD相机作为机器视觉系统的图像传感器部件，主要包括三类：线扫（Line Scan），高灵敏度线扫（High Sensitivity Line Scan）和面扫（Area Scan）。
　　进行相机选择时，确定类型后还需要考虑抗饱和性能（Booming Resistance）；选用黑白相机（Monochrome Camera）或彩色相机（Color Camera）；以及图像分辨率和像素分辨率。
　　编码器（Encoder）可对成像物体运动和相机行频之间进行同步。镜头（Lens）的功能是将所需要的图像完好地投影到CMOS/CCD传感器。照明（Illumination）的设计需要考虑下面因素（也是滤光片（Filters）（如果需要）的设计依据）：光源的频谱响应曲线；物体表面特性；CMOS/CCD传感器的频谱响应。主要的光源类型有日光、钨光源、荧光灯、卤钨灯、放电灯、LED和激光。
　　图像采集卡（Frame Grabber）具有如下功能：可处理来自不同图像源的信息，并在各种不同应用中具有灵活性；可快速高效地存储图像信息；提供图形用户接口。根据不同产品类型和价格，还可包括如下功能：具有RISC构架的快速DSP；并行多处理器系统；大RAM存储能力；强大的软件库；交互式用户界面；友好的编程工具。但图像采集卡的应用存在如下挑战：随着CMOS传感器的广泛应用，图像处理流程可直接在相机中完成；而图像处理算法可直接在主机上实现。常用图像硬件处理平台有PC based、Packaged System、Integrated Camera、Vision Engine。
　　图像质量的好坏是机器视觉系统成功的基础和前提，度量的特征有分辨率、对比度、场深、失真、视差等。