知识库

大量视频数据上传服务器,如何避免错误?
2019-10-29 17:16:52
阅读()
来源:互联数据
摘要:     上周有客户反映,自己的国外服务器“传视频文件到服务器总是提示错误、不成功”!同样是一个服务器传输问题,面对同一设备,大量文件数据同时传入服务器,出现错误,如何处理?在技术领域有个名词叫做“技术债

上周有客户反映,自己的国外服务器“传视频文件到服务器总是提示错误、不成功”!同样是一个服务器传输问题,支持2000人同时在线的视频服务器租用面对同一设备,大量文件数据同时传入服务器,出现错误,如何处理?在技术领域有个名词叫做“技术债务”,指为了产品快速迭代,做了很多临时性的代码处理。


服务器压力解决https://www.hkt4.com/dedicated/hk.html


但是在未来的某一天,这些遗留问题都会以BUG方式体现出来,导致付出更大的维护成本,通俗点说就是“出来混迟早都得还”。当大量设备连接服务器,大量数据上传到服务器,服务器要如何提高处理能力,来处理这些数据,数据源为设备数据。

大量数据上传服务器出现错误

服务器处理数据可以从已下几个方面考虑:


1、排队列处理机制。数据涌入服务器,但还是能够区分先后顺序,按照数据传输时序将数据摘要排入队列,然后服务器按队列依次进行处理。


2、数据分类机制。数据分类和优先级处理一起使用,将数据按照不同的类型进行分类,例如,可以将设备状态分为一类数据,将监控数据分为一类数据,将操作员正常操作设备数据分为一类,将操作员非法操作设备分为一类等,将不同的类型,按照其重要程度,放入不同的优先级队列中,按照优先级队列依次去处理。


3、数据分流机制。对数据进行分层,分流管理,多级服务器进行区分,例如可以按如下进行区分,设备-学校服务器-市级服务器-省级服务器-中央服务器,这样分级分下来,每一层的数据同时访问量并不是很大。

服务器压力解决方案

服务器从以上方面可以考虑,上位机设备也可以进行优化,做好数据定义,可以分担服务器的压力,可以从以下几个方面来考虑。


①、闲时机制。上位机的数据非必要情况不采用实时数据传输,可以在本地储存数据,等待闲时上传。


②、分包机制。例如数据源做两种情况拆分,一种为数据量小于1M的小数据,一种为数据量大于1M的大数据。对大数据进行切片分包,分包进行传输,此操作需要服务器进行相应的处理,实际上是服务器降低了大数据处理优先级。


③、摘要机制。对于大数据的传输,可以制定合适的摘要数据,在大数据传输之前,先传输其摘要,通过服务器对摘要的判定,抉择该数据是否进行传输,从而提升其通信效率。


以客户的项目为例,某一外贸网站,一天访客数大约在10w左右,双十一期间会达到30w左右,仅交易数据量在客流*20w的量级,在早晚高峰期会达到2/3的流量,在没有采用分流的情况下,我们的服务器即使遇到海量数据和高并发情况,互联数据服务器处理能力无压力,不会出现阻塞!

0

上一篇:迄今为止最好懂的CDN原理解释!
下一篇:2023年香港免备案服务器租用
HKT4为您的网站提供全球IDC资源
立即免费测试