Blog:一个数据导入的有趣问题

来自WHY42
imported>Riguz2019年1月14日 (一) 00:00的版本 (相比于传统的单体应用,在基于微服务架构的系统中进行数据导入的操作显得更加复杂一点。通常而言,微服务的架构中包含了多个服务,服务的技术架构也可能大相径庭,同时考虑到拓展的需要,每个服务都有可能会拓展成多个instance。最近遇到一个有趣的问题,进行了一些思考。)
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)

相比于传统的单体应用,在基于微服务架构的系统中进行数据导入的操作显得更加复杂一点。通常而言,微服务的架构中包含了多个服务,服务的技术架构也可能大相径庭,同时考虑到拓展的需要,每个服务都有可能会拓展成多个instance。最近遇到一个有趣的问题,进行了一些思考。 场景大致是这样的:

  • 我们有一个单独的service(以下简称SM),每天定时从一个目录读取文件(一个压缩包)。其中这个包中包括多个文件,分别对应到不同的业务数据,这些数据又影响到多个不同的service(以下简称SA,SB,SC)
  • 于是SM读取到文件之后,解析文件,并通过消息发送给SA,SB,SC。收到消息大小的限制,文件中的内容不能一次性发送完成,需要拆分成N个消息(比如每200条数据一个消息)
  • SA,SB都是增量更新,因此收到数据后,要么新增,要么更新,就可以了。很完美。
  • 但是SC确每次都是全量更新。

问题来了,如果按照SA,SB的做法,SC面临的问题有两个:

  • 如果没有办法区分一条数据是新增还是更新,那直接有问题
  • 即便可以,如何能删除多余的数据? 譬如原来有200条,现在过来150条,这150条更新了,多余的50条则没有办法删除

一个直接的办法是在SM开始的时候,先去SC删除所有的数据,然后再将数据发送过去就可以了。但是这样带来的问题就是,万一后面导入失败了,而删除已经做了,会造成以前的数据也不可用。这在我们的业务场景里面是比较致命的,应该至少保证同步失败的时候,保持上一次的数据。基于这个场景,想了一个解决方案:

  • 在数据表中加一个version字段标识,表示是哪一批次的数据
  • 创建一个视图,根据version来查询出最新的数据
  • 同步完成之后,更新视图

下面详细来说。假定我们是一个K-V类似的配置的导入,首先创建表和视图:

create table t_raw_config(
id int not null primary key auto_increment,
`version` char(6) not null,
name varchar(50) not null,
value varchar(100)
);

create view t_config
as
select id, name, value from t_raw_config;

在SM中,我们需要做的事情是:

  • 在导入开始的时候,生成一个唯一的version,简单一点,我们根据日期来,比如${\displaystyle version=20190101}$
  • 假定有1001条数据,每200个拆分成1个message,则有6个${\displaystyle message=\{1, 2, 3, 4, 5, 6\}}$
  • SC中,每消费完成一个message,则记录下消费的message到一个列表中,例如${\displaystyle messages20190101 = \{1, 2\}}$(例如存储在redis中)
  • SM中解析完成后,告知SC所有的message,即${\displaystyle message=\{1, 2, 3, 4, 5, 6\}}$
  • SC收到告知后,比对${\displaystyle messages20190101}$是否与${\displaystyle message=\{1, 2, 3, 4, 5, 6\}}$匹配,如果不匹配则等待(可以利用redis的BLPOP实现,如果不匹配则不断去BLPOP)
  • 所有的消息都消费完成后,更新视图,将version设置为${\displaystyle version=20190101}$。如果考虑到性能问题,可以再version字段上建索引;考虑空间问题,可以在这一步以前version的数据