> ## Documentation Index
> Fetch the complete documentation index at: https://learn.orbexa.io/llms.txt
> Use this file to discover all available pages before exploring further.

# ORBEXA AI数据清洗与质量管道

> ORBEXA AI Refinery数据清洗管道技术详解：多阶段处理Pipeline自动完成跨平台字段映射、商品描述智能优化重写、图片视觉属性提取与AI标准化分类和质量评分计算，内置飞轮持续学习机制确保所有商品数据在进入UCP/ACP协议端点前达到AI代理可理解和可用的质量标准

# 数据清洗与质量

## 为什么数据清洗至关重要

AI代理依赖结构化、高质量的商品数据做出购买决策。一个描述含糊、分类错误、属性缺失的商品，即使通过了所有协议端点暴露出去，AI代理也很难正确理解和推荐。

ORBEXA内置AI数据清洗引擎 -- **Refinery Pipeline**，在数据进入协议端点之前自动提升质量。

## Unified Refinery Pipeline

ORBEXA的数据质量引擎采用多阶段处理管道：

```
原始数据 → 字段映射 → AI描述优化 → 视觉属性提取 → AI智能标准化 → 质量评分 → 输出
```

每个阶段都可以独立运行或按顺序串联执行。

## 阶段1：字段映射

### 问题

不同平台的字段命名不同：Shopify用`body_html`表示商品描述，WooCommerce用`description`，CSV导入可能用「商品说明」或「Product Desc」。

### 解决方案

ORBEXA的字段映射引擎将各平台的字段自动映射到UCP/ACP标准字段：

* **平台预设映射**：Shopify、WooCommerce等主流平台有内置的映射规则
* **智能推断**：对非标准字段名，基于语义分析推断对应的标准字段
* **手动覆盖**：商家可在控制台手动指定映射关系

## 阶段2：AI描述优化

利用AI自动改善商品描述质量：

* **补全缺失信息**：如果描述中缺少材质、尺寸等关键信息但图片或属性中存在，自动补充
* **规范化表述**：统一度量单位、颜色表达、尺码格式
* **提升AI可理解性**：将口语化、模糊的描述改写为结构清晰的文本

商家可通过Product AI Service手动触发重新生成描述或重新清洗单个商品。

## 阶段3：视觉属性提取

从商品图片中自动识别和提取属性：

* **颜色识别**：从图片中提取主色调和配色
* **材质判断**：识别织物、金属、木材等材质类型
* **款式分类**：识别服装款式、家具风格等视觉特征
* **缺陷检测**：标记图片质量问题（模糊、裁切不当等）

这些视觉属性作为补充数据加入商品信息，提升AI代理的理解准确度。

## 阶段4：AI智能标准化

AI智能标准化确保商品数据完全符合AI代理的消费需求：

* 字段格式统一（日期、价格、重量等）
* 分类体系对齐
* 多语言字段处理
* 数据完整性校验

## 分层飞轮学习

Refinery Pipeline的映射规则采用三层飞轮学习机制：

### 商家级规则

针对特定商家的映射规则。例如，某商家的CSV文件中「型号」列始终对应UCP的`sku`字段，这条规则只适用于该商家。

### 品类级规则

跨商家但限定品类的规则。例如，服装类商品的「尺码」字段通常映射到`size`属性，这条规则适用于所有服装类商家。

### 全局规则

适用于所有商家的通用规则。例如，「价格」/「Price」/「售价」都映射到`price`字段。

### 飞轮效应

```
商家级规则 (精确度最高，覆盖最窄)
      ↓ 积累足够样本后上升
品类级规则 (中等精确度，中等覆盖)
      ↓ 持续验证后上升
全局规则 (通用性最强，覆盖最广)
```

每当商家手动修正一条映射，系统会学习这条规则。当同一品类中多个商家产生相似修正时，规则自动提升到品类级。当品类级规则在全局验证通过后，提升为全局规则。

接入ORBEXA的商家越多，飞轮越快，映射越准确。

## Human-in-the-Loop (HITL)

AI清洗不可能100%正确。ORBEXA提供HITL审核仪表板：

* **低置信度标记**：AI对映射或清洗结果置信度低时，自动标记为待审核
* **人工审核界面**：商家或运营人员可查看AI清洗前后对比，接受或修正
* **反馈闭环**：人工修正结果会回馈给AI模型，提升后续清洗准确率

HITL不是可选功能 -- 它是Refinery Pipeline的核心组成部分，确保数据质量有人工兜底。

## Product AI Service

商家可通过Product AI Service对单个商品执行按需操作：

* **重新生成描述**：用AI重写商品描述
* **重新清洗**：对已清洗的商品重新执行完整Refinery Pipeline
* **属性补全**：为缺失属性的商品触发视觉提取

## 小结

Refinery Pipeline通过字段映射、AI描述优化、视觉属性提取和AI智能标准化四个阶段，确保进入协议端点的数据质量。三层飞轮学习持续积累映射知识，HITL审核提供人工质量兜底。

***

下一章：[API参考与限速](/zh/book-7/ch8-api-reference) -- 完整端点清单、认证方式和限速策略