一场区块链引发的文件传输革命正在到来,它是什么黑科技?

编辑:凯恩/2018-11-05 12:57

  TCFS系统,被迅雷称为是一款“专为区块链”而生的文件系统,是数据云存储与授权分发的链上文件系统,拥有权益保护、授信机制和激励机制等特性,开发者和用户可以将自己需要保存的文件上链执行分布式存储。

  区块链文件系统TCFS就是迅雷在主链上祭出的技术突破,也是迅雷为区块链技术寻找具体应用场景的一次新尝试。迅雷CEO陈磊说:“我们觉得,每一个踏踏实实做区块链的区块链人,都不能被辜负。”

  比如,IPFS上一个视频文件有10MB,有三个人看过,在网络中就只有这三个凤凰彩票(fh03.cc) 节点存储,总的占用存储空间是30MB。当三个节点都下线或者删除这部分存储的时候,文件在网络中就再也找不到了。TCFS上,也是这个10MB的文件,会切成40片存储到40个节点中,共占用不到20MB的存储空间,当其中3个节点下线或者删除存储,文件仍然可以被获取到,当其他10个节点下线或者删除存储,文件也仍然可以被获取到。

  而迅雷链文件系统TCFS更进一步的地方在于,它兼具IPFS的优势和类似Filecoin的激励机制,同时针对实际应用场景有自己更多的技术突破。它在迅雷15年的P2P传输和加速技术基础上,推出了一个“高度去中心化”的分布式文件存储和管理系统,

  在迅雷看来,优胜团队除了获得奖金之外,更多的其实是孵化创投机会,应用在迅雷全平台流量曝光的机会,更多的区块链技术资源交流机会等。在陈磊眼中,在中国会迎来区块链技术产业的巨变。“区块链相对来说还是一个应用非常广泛的技术,是一种相对共性的应用,在溯源、防伪、商业、零售等行业里,可能会看到更多更有价值的案例。”

  通过技术,迅雷把下载上传链路通道这看似简单的事儿做到了极致——

  简而言之,迅雷TCFS作为一种基础的核心文件管理技术,针对现实的应用场景进行了更多的优化,尤其适用区块链应用,而且不限制区块链应用所跑的主链,以太坊、EOS等主链上的应用都可以将文件存储在TCFS。

  迅雷发明了P2SP协议,并构建了世界上最大的P2SP应用“迅雷离线下载”。

  VNT Chain创始人周峰指出,主链具备这样的特点才能够胜出的:第一,在底层技术上有重大突破,把整个基础打好。第二,在整个应用上能够制造出一些能够为用户创造价值的链。

  IPFS更适合公共资源,也就是谁都可以访问的文件,而对于区块链上的应用,比如版权、共享的数据,是需要确权和授权机制的,所以迅雷TCFS系统研发了公私钥的权益保护以及令牌授权机制。

  如果观察迅雷在过去几年所推出的产品,就可以理解,对于区块链技术的应用,迅雷看到了分布式计算技术给迅雷整体带来的加速和升级——从星域云到承载百万级TPS的迅雷链,再到核心的文件管理系统和推进应用的加速落地。历史上的迅雷就是一家高度分布式计算的企业。

  彻底去中心化的存储和传输

  

  “下载”的技术演进

  相比传统HTTP文件存储在某个中心化的服务器,IPFS系统上的文件分散存储在一个个开放的节点,而且文件上传时计算了唯一指纹——hash值,保证文件不会被篡改。

  从开发者到应用,从应用到工具

  存储在IPFS系统上的文件,只要世界上有一个客户端节点缓存了这个文件,其他人就有获取到它的可能。但也存在一定的不足——当用户频繁调用IPFS系统上的某个文件时,IPFS会将文件缓存在用户的本地系统,其他用户调取相同文件时,这些缓存过的用户同样构成了节点,形成了快速提取和永久存储。它的优点是热门的、被频繁访问的文件资源越来越“好用”,但冷门的文件可能丢失或遗忘。这种去中心化没能真正地带来技术的平等化。

  这可以追溯到十几年前的迅雷。无论是最初在与FlashGet、网络蚂蚁的战争,还是在之后与腾讯旋风的战争中。历史上,帮助迅雷取得胜利的关键产品,都是许多开创性技术的研发和大规模应用。

  多轮角逐后,来自中国的Designer团队最终胜出。Designer是一支来自浙江大学智能计算与系统实验室的队伍,其参赛作品为“图形化智能合约生成编辑器”。用户可以通过该工具,拖动页面上的基础组件自行打造所需要的智能合约。同时提供漏洞检测功能,可在生成智能合约时自动检测合约的安全性。

  传统协议上的数据传输拥有系统结构简单易用的特点,在一些小的场景存在一定的应用价值,但在如今公有资源和大数据的宏观大背景下,它并不像是未来的方向。

  它是一个点对点的分布式文件系统,通过底层P2P协议,当用户获取公共资源文件时,它可以并发地从多个不同的分布式存储节点同时下载,这些分布式存储节点就是IPFS的一个客户端。为了提供这些文件和视频的浏览服务,企业不需要再购买大量的带宽和服务器,极大地降低了成本。

  同时,因为这些开放的存储节点存在很大程度地不稳定性,用户不确定什么时候就下线了,所以系统需要更高的可靠性和容错性,TCFS应用FEC冗余编码,将切片的文件分布存储在很多个节点上,这些节点中一部分失效和下线,文件仍然能够获取到。

  

  到了今年4月份发布迅雷“迅雷链”,迅雷宣布ALL 凤凰娱乐(fh03.cc)in区块链,并宣布其性能已达百万量级TPS(每秒传输的事物处理个数),同时能做到秒级响应,同时进入区块链3.0时代——都是基于迅雷对于点对点传输技术的理解。

  如此高性能、分布式式的TCFS文件系统,其实是迅雷经典技术的延续。迅雷的TCFS也集成在迅雷集团业务的转型架构之上。

  但是HTTP协议存在一些弊端,2015年提出的IPFS(星际文件系统)系统意在取而代之。IPFS系统在目前是业内普遍认知的一种高效的、更适合公共资源的分布式文件管理机制。

  区块链技术拥有的去中心化、永久性的特点,这对于迅雷这样将文件传输作为核心技术,已经实现了分布式计算的企业提出了新的新思考——基于区块链技术的文件系统是怎样的?

  迅雷TCFS文件系统同样是对开发者示好。TCFS文件系统意味着迅雷链更完整可靠的技术基础,对开发者来说,也意味着更友好的开发成本和门槛。

  此前,迅雷是第一个实现HTTP、FTP、BT和ed2k下载全支持的下载工具。

  而随着玩客云的推出,迅雷转型分布式计算初现端倪。

  然后,迅雷是第一个实现在服务器端对全网同一文件进行索引解决死链的下载工具。

  

  迅雷是一家从 P2P(点对点)技术起家的公司,“去中心化”的理念一直刻在这家公司的灵魂里。区块链的本质实际上是P2P技术的一种升级,在技术层面上彻底解决去中心化网络信用和溯源的问题,这让P2P技术能够承载更多的应用,也需要更多底层核心技术的支持。这有助于中国的区块链行业的发展,对于迅雷,也有了成为了通用区块链技术平台的可能性。

  在这次迅雷区块链应用开发大赛上,迅雷提供了一整套的扶持政策——开发者奖金池,应用曝光机会,迅雷资源支持等。

  另一方面,IPFS引入了“Filecoin”的币种激励机制,鼓励更多的人参与到IPFS中作为存储节点,一方面也形成供求市场,为有需要存储文件的用户提供渠道。

  它的起源是迅雷积累了15年的文件存储、传输和下载技术,区块链为它延伸了新的可能性。

  传统意义上的互联网的文件存储和传输是一个高度中心化的文件管理系统,比如HTTP(超文本传输协议)——当今最普遍的应用层网络协议,文件被放在数据中心(IDC)的服务器中,用户浏览网页、文档、视频等,都是从这个中心化的服务器,经过运营商主干网络,传输到达用户的电脑或手机等智能设备。

  区块链文件系统TCFS是迅雷在主链上线之后祭出的技术突破,是在构建生态的底层基础,是在打造核心技术——上线主链——招募开发者——宣布落地应用之后又一步举措。迅雷从笼络开发者到支持落地应用,从落地应用到自建文件系统工具,正在完成迅雷区块链底层技术架构的闭环生态。

  也是因为有些文件有一定私密性,所以不应该让每个存储节点像IPFS Client那样能看到完整的文件,TCFS使用前向纠删码(FEC)技术对用户完整文件进行了切片和加密存储,增加文件的安全和机密性。

  迅雷全球区块链应用大赛决赛现场

  

  在发布了迅雷链之后,迅雷又公布了一个新的文件系统,TCFS(Thunder Chain File System),在文件传输和下载这个“老本行”上,迅雷也all-in了区块链。这是迅雷CEO陈磊在迅雷全球区块链开发者大会上公布的。