tft每日頭條

 > 科技

 > 淺談雲計算與大數據

淺談雲計算與大數據

科技 更新时间:2025-02-11 11:06:14

雲技術(Cloud technology)是指在廣域網或局域網内将硬件、軟件、網絡等系列資源統一起來,實現數據的計算、儲存、處理和共享的一種托管技術。雲技術(Cloudtechnology)基于雲計算商業模式應用的網絡技術、信息技術、整合技術、管理平台技術、應用技術等的總稱,可以組成資源池,按需所用,靈活便利。雲計算技術将變成重要支撐。技術網絡系統的後台服務需要大量的計算、存儲資源,如視頻網站、圖片類網站和更多的門戶網站。伴随着互聯網行業的高度發展和應用,将來每個物品都有可能存在自己的識别标志,都需要傳輸到後台系統進行邏輯處理,不同程度級别的數據将會分開處理,各類行業數據皆需要強大的系統後盾支撐,隻能通過雲計算來實現。

雲計算(cloud computing)是一種計算模式,它将計算任務分布在大量計算機構成的資源池上,使各種應用系統能夠根據需要獲取計算力、存儲空間和信息服務。提供資源的網絡被稱為“雲”。“雲”中的資源在使用者看來是可以無限擴展的,并且可以随時獲取,按需使用,随時擴展,按使用付費。

作為雲計算的基礎能力提供商,會建立雲計算資源池(簡稱雲平台,一般稱為IaaS(Infrastructure as a Service,基礎設施即服務)平台,在資源池中部署多種類型的虛拟資源,供外部客戶選擇使用。雲計算資源池中主要包括:計算設備(為虛拟化機器,包含操作系統)、存儲設備、網絡設備。

按照邏輯功能劃分,在IaaS(Infrastructure as a Service,基礎設施即服務)層上可以部署PaaS(Platform as a Service,平台即服務)層,PaaS層之上再部署SaaS(Software as a Service,軟件即服務)層,也可以直接将SaaS部署在IaaS上。PaaS為軟件運行的平台,如數據庫、web容器等。SaaS為各式各樣的業務軟件,如web門戶網站、短信群發器等。一般來說,SaaS和PaaS相對于IaaS是上層。

雲計算(cloud computing)指IT基礎設施的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需資源;廣義雲計算指服務的交付和使用模式,指通過網絡以按需、易擴展的方式獲得所需服務。這種服務可以是IT和軟件、互聯網相關,也可是其他服務。雲計算是網格計算(Grid Computing )、分布式計算(DistributedComputing)、并行計算(Parallel Computing)、效用計算(Utility Computing)、網絡存儲(Network StorageTechnologies)、虛拟化(Virtualization)、負載均衡(Load Balance)等傳統計算機和網絡技術發展融合的産物。

随着互聯網、實時數據流、連接設備多樣化的發展,以及搜索服務、社會網絡、移動商務和開放協作等需求的推動,雲計算迅速發展起來。不同于以往的并行分布式計算,雲計算的産生從理念上将推動整個互聯網模式、企業管理模式發生革命性的變革。

雲存儲(cloud storage)是在雲計算概念上延伸和發展出來的一個新的概念,分布式雲存儲系統 (以下簡稱存儲系統)是指通過集群應用、網格技術以及分布存儲文件系統等功能,将網絡中大量各種不同類型的存儲設備(存儲設備也稱之為存儲節點)通過應用軟件或應用接口集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個存儲系統。

目前,存儲系統的存儲方法為:創建邏輯卷,在創建邏輯卷時,就為每個邏輯卷分配物理存儲空間,該物理存儲空間可能是某個存儲設備或者某幾個存儲設備的磁盤組成。客戶端在某一邏輯卷上存儲數據,也就是将數據存儲在文件系統上,文件系統将數據分成許多部分,每一部分是一個對象,對象不僅包含數據而且還包含數據标識(ID,ID entity)等額外的信息,文件系統将每個對象分别寫入該邏輯卷的物理存儲空間,且文件系統會記錄每個對象的存儲位置信息,從而當客戶端請求訪問數據時,文件系統能夠根據每個對象的存儲位置信息讓客戶端對數據進行訪問。

存儲系統為邏輯卷分配物理存儲空間的過程,具體為:按照對存儲于邏輯卷的對象的容量估量(該估量往往相對于實際要存儲的對象的容量有很大餘量)和獨立冗餘磁盤陣列(RAID,Redundant Array of Independent Disk)的組别,預先将物理存儲空間劃分成分條,一個邏輯卷可以理解為一個分條,從而為邏輯卷分配了物理存儲空間。

數據庫(Database),簡而言之可視為電子化的文件櫃——存儲電子文件的處所,用戶可以對文件中的數據進行新增、查詢、更新、删除等操作。所謂“數據庫”是以一定方式儲存在一起、能與多個用戶共享、具有盡可能小的冗餘度、與應用程序彼此獨立的數據集合。

數據庫管理系統(英語:Database Management System,簡稱DBMS)是為管理數據庫而設計的電腦軟件系統,一般具有存儲、截取、安全保障、備份等基礎功能。數據庫管理系統可以依據它所支持的數據庫模型來作分類,例如關系式、XML(Extensible MarkupLanguage,即可擴展标記語言);或依據所支持的計算機類型來作分類,例如服務器群集、移動電話;或依據所用查詢語言來作分類,例如SQL(結構化查詢語言(Structured QueryLanguage)、XQuery;或依據性能沖量重點來作分類,例如最大規模、最高運行速度;亦或其他的分類方式。不論使用哪種分類方式,一些DBMS能夠跨類别,例如,同時支持多種查詢語言。

大數據(Big data)是指無法在一定時間範圍内用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資産。随着雲時代的來臨,大數據也吸引了越來越多的關注,大數據需要特殊的技術,以有效地處理大量的容忍經過時間内的數據。适用于大數據的技術,包括大規模并行處理數據庫、數據挖掘、分布式文件系統、分布式數據庫、雲計算平台、互聯網和可擴展的存儲系統。

淺談雲計算與大數據(講透雲技術雲計算)1

每個節點均存儲一條相同的區塊鍊,節點中存儲的區塊鍊是一種數據結構。區塊鍊由多個區塊組成,區塊鍊由多個區塊組成,創始塊中包括區塊頭和區塊主體,比如:區塊頭中存儲有卷宗材料特征值、版本号、時間戳和難度值,區塊主體中存儲有卷宗材料;創始塊的下一區塊以創始塊為父區塊,下一區塊中同樣包括區塊頭和區塊主體,區塊頭中存儲有當前區塊的卷宗材料特征值、父區塊的區塊頭特征值、版本号、時間戳和難度值,并以此類推,使得區塊鍊中每個區塊中存儲的區塊數據均與父區塊中存儲的區塊數據存在關聯

區塊鍊由多個區塊鍊節點構成,任兩個區塊鍊節點之間均可以通信連接。區塊鍊是分布式數據存儲、點對點傳輸、共識機制、加密算法等計算機技術的新型應用模型。區塊鍊本質上是一個去中心化的數據庫,同時作為比特币的底層技術,是一串使用密碼學相關聯産生的數據塊,各個數據塊之間通過随機散列(也稱哈希算法)實現鍊接,後一個數據塊包含前一個數據塊的哈希值。

其中,區塊鍊節點可以直接通過點到點(Peer to Peer,P2P)和Gossip等協議實現節點的發現和數據的傳遞。其中,P2P是一種點到點的通信網絡,網絡中所有節點地位均等,不存在中心化的控制機制;Gossip是一種P2P網絡中多個節點之間進行數據同步的協議,例如随機選擇鄰居節點進行數據轉發。

其中,與鍊碼相關的協議包括鍊碼的初始化協議、鍊碼的啟動協議、鍊碼的執行協議、以及鍊碼的更新協議等,其中,鍊碼是區塊鍊上的應用代碼,是負責對區塊鍊底層平台進行相關操作的上層業務代碼。鍊碼可用來執行合約中的内容,來用對賬本進行操作,可将與電子卷宗相關的數據存儲到賬本上,也方便獲取電子卷宗數據。其中,賬本是區塊鍊結構和數據以及當前區塊鍊的世界狀态的結構。

合約指的是智能合約,也可以稱為智能合同。智能合約是由事件驅動的、具有狀态的、獲得多方承認的、運行在區塊鍊之上的、且能夠根據預設條件自動處理資産的程序,智能合約最大的優勢是利用程序算法替代人仲裁和執行合同。簡單來說,智能合約是一種用計算機語言取代法律語言去記錄條款的合約。智能合約可以由一個計算系統自動執行。即,智能合約就是傳統合約的數字化版本。

通道用來隔離不同的組織,實現數據的隔離訪問,不同的通道的賬本數據互相無法訪問。在本實施例中,當根據實際情況,采用至少一個通道進行管理,若需要将數據提供給其他關聯方進行訪問,可使用新的通道來共享部分數據。

策略是指與電子卷宗應用程序的各種業務相關的策略,如上述提及的與新建業務相關的策略、與上傳業務相關的策略等。

核心層是區塊鍊的核心部分,可以采用分布式網絡、P2P網絡技術以及Gossip協議進行數據分發。核心層可以提供賬本數據訪問、達成共識、通過通道實現數據的隔離訪問以及提供身份認證等。

由上述可知,賬本是區塊鍊結構和數據以及當前區塊鍊的世界狀态的結構。

達成共識主要有兩個流程,分别為區塊的提議和區塊的共識達成。區塊的提議主要涉及到工作量證明(Proof Of Work,PoW)和權益證明(Proof of Stake,PoS)機制,用以抵抗女巫攻擊,安全地選出可靠的區塊提議者。區塊的共識達成則涉及到共識算法,主要包括中本聰共識和經典共識。

有關通道的相關内容,可以詳見上述的相關說明,在此不再贅述。

身份認證采用證書頒發機構(Certificate Authority,CA)頒發的CA證書進行訪問控制,其中,用戶身份認證需要使用證書,數據則使用安全傳輸層(Transport LayerSecurity,TLS)協議進行加傳輸,以保證數據安全。其中,CA負責證書的創建和頒發,是公開密鑰基礎設施(Public Key Infrastructure,PKI)體系中最為核心的角色,PKI是一組由硬件、軟件、參與者、管理政策與流程組成的基礎架構,其目的在于創造、管理、分配、使用、存儲以及撤銷數字證書。

資源層包括證書頒發機構的信息、網絡的信息、文件系統/數據庫的信息和容器的信息等。其中,證書頒發機構不參與P2P網絡節點的數據交換和網絡訪問,使用三層認證結構,保證認證的權威性和數據安全性。其中,數據采用哈希算法(英文全稱:HashAlgorithm)進行簽名,保證數據的不可篡改性。其中,哈希算法是一種将任意長度的二進制映射為較短的固定長度的二進制值的算法。

賬本數據可以以文件行書存儲在文件系統上,而區塊鍊網絡狀态數據則存儲在數據庫中,狀态數據、曆史數據和索引數據也可以存儲在數據庫中,例如,存儲在LevelDB數據庫中。

容器提供方便快捷的節點資源調度和管理能力,通過鏡像快速進行節點的資源部署。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2025 - www.tftnews.com All Rights Reserved