文件中间件


KFS“文件+”能力引擎

  • 分布式存储

    支持弹性扩容的高可用的分布式存储平台

  • 非结构化数据中台

    为上层业务系统提供底层文件支撑和文件赋能

  • 网盘底座

    基于文件中间件实现敏捷开发网盘类应用

KFS产品功能

存储传输

✔    分布式存储

支持广域网分布式存储部署,支持多副本存储

✔    多副本存储

以热备份形式分散存储在多台服务器

✔    边缘云存储

支持部署边缘节点和用户侧

✔    对象存储

支持接入Ceph存储

✔    存储加密

支持存储文件加密

✔    断点续传

大文件上传时,对于每个分片,支持多次尝试上传,网络中断后仅需重新上传遭遇异常的数据分片。

文件元数据

✔    树状元数据

清晰的层级模型管理元数据

✔    ID路径主键

每个文件/文件夹均有唯一的路径及ID

✔    自定义Meta

自定义文件业务元数据属性

✔    超融合搜索

支持目录搜索、组合搜索、文件分类

✔    元数据日志

日志完整记录元数据变更

✔    历史版本

一个文件可对应多个历史版本的数据块

文件服务器

✔    REST API

提供RESTFUL API接口文档,通过HTTP方式访问接口

✔    JAVA/PYTHON SDK

提供JAVA/PYTHON二次开发工具包程序

✔    提供FTP/SFTP

支持多种工具访问系统云盘,支持FTP/SFTP。

✔    提供WEBDAV

支持多种工具访问系统云盘,支持WEBDAV。

✔    配套Windows虚拟盘和同步盘

支持虚拟盘登录系统,不改变用户windows的原有体验。提供同步盘功能,用户可直接云端与桌面文件夹进行文件同步。

云预览编辑

✔    WebOffice

支持预览、编辑MS

✔    WebCAD

支持预览、编辑AutoCAD工程图纸格式

✔    WebZIP

支持在线预览zip/rar文件

✔    WebText

支持在线预览、编辑text文本

✔    WebImage

支持在线预览jpg、png、bmp等格式图片

✔    WebVideo

支持在线预览MPG/AVI/FLV/MOV/RMVB/MKV/VOB/_3GP等各种视频

云文件处理

✔    PDF转换

支持各种文件格式转为PDF并添加水印

✔    图片转换

支持各种图片转为JPG并缩放

✔    视频转码

支持各种视频文件转换为MP4

✔    文本提取

提取常见格式文件的全文本内容

✔    图片OCR

多场景、多语种、高精度的文字检测与识别

✔    加解密

加密存储、按需解密、编码集成

云文件智能

✔    文件爬虫

自动从源站下载文件归档保存

✔    差异对比

对比办公类文件的内容差异

✔    敏感词筛查

按需标记人名、电话、邮箱等敏感词

✔    文本分类

自动识别文本内容并作分类

✔    图像目标检测

自动识别图片中的物体

✔    结构化OCR

图片文件按EXCEL模板进行OCR识别并导出表格文件

KFS技术栈

纯JAVA自主开发

底层核心代码完全采用java开发,完全自主研发。

云原生架构

基于云原生架构开发,支持使用对象存储作为物理文件存储池。

双机房同步

支持双机部署与集群部署,支持整个系统的弹性扩容。

不依赖其他中间件

除依赖Tomcat外,不依赖数据库、Zookeeper、Redis、Ceph等任何其他中间件

弹性扩容

支持双机部署与集群部署,支持整个系统的弹性扩容。

支持系统集成

支持与各种文件处理组件的集成,例如:Office转换、Office编辑、Dwg转换、OCR引擎、NLP引擎、电子签章、加解密等。

RESTAPI+SDK

提供REST-API接口,提供JAVA/C#/PYTHON等语言的SDK

存储与计算分离

由存储节点实现文件的存储、处理、传输,由元数据节点实现元数据的增删改查

支持国产信创

支持在国产信创环境下部署,支持国产芯片及操作系统,支持国产WEB容器(替代Tomcat)。

JAVA-SDK调用示例

文件中间件

文件数据库 = 分布式存储 + 元数据管理 + API/SDK
文件微服务 = 云预览编辑 + 云文件处理 + 文件服务器

产品价值

为企业客户提供全场景文件管理服务

云文件数据库

为业务系统或AI系统提供可靠的底层云文件存储,采用树状数据结构
支持自定义元数据,支持快速文件查询

云文件WEB

为应用系统赋能文件的在线预览编辑、格式转换等功能
用户可在网页应用中享受这些功能

云文件处理

依托云上文件NLP、OCR等功能,从非结构化数据中挖掘出结构化数据
为应用系统赋能文件智能打标,实现RPA等功能应用

文件服务器

为应用系统赋能FTP、SFTP、WEBDAV、GIT、虚拟盘、同步盘的服务器端
用户可通过客户端访问应用系统的文件

产品功能

帮忙用户快速“用好”数据,发挥数据价值

文件存储传输

✔    对象存储

支持接入Ceph存储

✔    边缘云存储

支持部署边缘节点和用户侧

✔    存储去重

服务器端支持存储去重(根据文件MD5码)

✔    断点续传

大文件上传时,对于每个分片,支持多次尝试上传,网络中断后仅需重新上传遭遇异常的数据分片。

文件元数据

✔    树状元数据

清晰的层级模型管理元数据

✔    ID路径主键

每个文件/文件夹均有唯一的路径及ID

✔    自定义Meta

自定义文件业务元数据属性

✔    超融合搜索

支持目录搜索、组合搜索、文件分类

✔    元数据日志

日志完整记录元数据变更

✔    历史版本

一个文件可对应多个历史版本的数据块

云预览编辑

✔    WebOffice

支持预览、编辑MS

✔    WebCAD

支持预览、编辑AutoCAD工程图纸格式

✔    WebZIP

支持在线预览zip/rar文件

✔    WebText

支持在线预览、编辑text文本

✔    WebImage

支持在线预览jpg、png、bmp等格式图片

✔    WebVideo

支持在线预览MPG/AVI/FLV/MOV/RMVB/MKV/VOB/_3GP等各种视频

云文件处理

✔    导出PDF

支持word/excel/ppt/wps等数十种文件格式

✔    文件水印

支持文件预览水印、下载水印

✔    文本提取

支持进行全文本提取

✔    文本NLP

通过NLP技术为文档或图片识别关键词及摘要

✔    图片OCR

多场景、多语种、高精度的文字检测与识别

✔    视频转码

支持MPG/AVI/FLV/MOV/RMVB/MKV/VOB/3GP等各种视频文件转换为MP4

访问方式

✔    RESTAPI

提供完整的二次开发 REST API

✔    JAVA SDK

提供完整的二次开发 JAVA SDK

✔    Python SDK

提供日志服务的API接口

✔    FTP

实用多功能和界面直观的FTP客户端

文件服务器

✔    提供FTP/SFTP/WEBDAV

支持多种工具访问系统云盘,支持FTP/SFTP/WEBDAV。

✔    配套Windows虚拟盘和同步盘

支持虚拟盘登录系统,不改变用户windows的原有体验。提供同步盘功能,用户可直接云端与桌面文件夹进行文件同步。

KFS应用场景-文件微服务

KFS应用场景-分布式存储

KFS应用场景-非结构化数据中台

开始云融入IT蓝图

KFS技术栈

纯JAVA自主开发

底层核心代码完全采用java开发,完全自主研发。

不依赖其他中间件

除依赖Tomcat外,不依赖数据库、Zookeeper、Redis、Ceph等任何其他中间件

RESTAPI+SDK

提供REST-API接口,提供JAVA/C#/PYTHON等语言的SDK

云原生架构

基于云原生架构开发,支持使用对象存储作为物理文件存储池。

弹性扩容

支持双机部署与集群部署,支持整个系统的弹性扩容。

存储与计算分离

由存储节点实现文件的存储、处理、传输,由元数据节点实现元数据的增删改查

双机房同步

支持双机部署与集群部署,支持整个系统的弹性扩容。

支持系统集成

支持与各种文件处理组件的集成,例如:Office转换、Office编辑、Dwg转换、OCR引擎、NLP引擎、电子签章、加解密等。

支持国产信创

支持在国产信创环境下部署,支持国产芯片及操作系统,支持国产WEB容器(替代Tomcat)。