许多基于内存的聚类算法采用以下两种数据结构：
(1)数据矩阵(Data Matrix，或称对象一变盘结构)：用p个变量来表示n个对象，例如使用年龄、身高、性别、体重等属性变量来表示对象人，也叫二模矩阵，行与列代表不同实体：
(2)相异度矩阵(Dissimilarity Matrix，又称为对象一对象结构)：存储所有成对的n个对象两两之间的近似性(邻近度)，也叫单模矩阵，行和列代表相同的实体。其中d(ij)是对象i和对象j之间的测量差或相异度。d(i，f)是一个非负的数值，d(ij)越大，两个对象越不同；d (i，j)越接近于0，则两者之间越相似(相近)。
许多聚类算法都是以相异度矩阵为基础的，如果数据是用数据矩阵形式表示，则往往要将其先转化为相异度矩阵。
相异度d(i,j)的具体计算会因所使用的数据类型不同而不同，常用的数据类型包括：区间标度变量，二元变量，标称型、序数型和比例标度型变量，混合类型的变量。
