这区别可大了,不是一个概念。mysql是传统的关系型数据库。hdfs是nosql hadoop的存储方式。hdfs是分布式的自带高可用存储,文件格式跟mysql的存储引擎不一样。
hive是把数据存储在hdfs上,而mysql数据是存储在自己的系统中;数据格式不同:hive数据格式可以用户自定义,mysql有自己的系统定义格式;数据更新不同:hive不支持数据更新,只可以读,不可以写,而sql支持数据更新。
日志数据,包括用户所有线上行为数据,浏览,搜索,点击等,存储在HDFS上 这类数据,相比订单和支付数据,规模要成10倍-1000倍增长。比如,我浏览10个店铺宝贝才转化一个订单数据。但该类数据,不会要求太多性能和苛刻的准确性,甚至可以容忍丢小部分日志数据。这部分数据,会放到HDFS上来存储。
Hadoop里面包括几个组件HDFS、MapReduce和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。记住学到这里可以作为你学大数据的一个节点。
支持海量数据的存储:一般来说,HDFS存储的文件可以支持TB和PB级别的数据。检测和快速应对硬件故障:在集群环境中,硬件故障是常见性问题。因为有上千台服务器连在一起,故障率很高,因此故障检测和自动恢复hdfs文件系统的一个设计目标。
另外,HDFS具有重复备份机制,对文件进行多次备份以提高文件的可靠性。HDFS使用分布式存储技术,可以有效地提升存储能力和数据的可靠性,同时也可以支持对大数据的高速读写操作。在Hadoop大数据平台中,HDFS作为底层存储系统,扮演着至关重要的角色。因此,深入了解HDFS存储原理和工作机制是进行大数据开发的基础。
MySQL22限制的表大小为4GB。由于在MySQL23中使用了MyISAM存储引擎,最大表尺寸增加到了65536TB(2567_1字节)。由于允许的表尺寸更大,MySQL数据库的最大有效表尺寸通常是由操作系统对文件大小的限制决定的,而不是由MySQL内部限制决定的。
mysql的最大数据存储量没有最大限制。最多也就是单字段的长度有限制,那跟字段的数据类型有关,而对于数据表的大小一般不要超过2G,超过了效率会比较慢,建议分开多表存。上MySQL 能承受的数据量的多少主要和数据表的结构有关,并不是一个固定的数值。
“在mysql中,每个数据库最多可创建20亿个表,一个表允许定义1024列,每行的最大长度为8092字节(不包括文本和图像类型的长度)。
MySQL数据库支持的数据大小是非常大的,可以处理数十亿条记录。Mysqli是PHP中的一个扩展库,用于连接和操作MySQL数据库。Mysqli查询支持的数据大小取决于MySQL数据库的版本和配置。查询的效率和性能会受到多种因素的影响,例如查询语句的复杂度、索引的使用、服务器的硬件配置等等。
并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段 sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。
硬盘存储:硬盘作为计算机的主要存储介质,包括机械硬盘、固态硬盘和混合硬盘等类型,它们能够存储各类数据,如文档、图片、音频和视频等。 磁带存储:磁带是一种顺序访问存储设备,数据按顺序存储在磁带上。这种存储方式通常用于大数据的备份和长期存档。
磁带存储:磁带是一种顺序存储设备,它可以将数据按照顺序依次存储在磁带上。磁带存储通常用于大规模的数据备份和存档。光盘存储:光盘是一种光学存储介质,它可以存储各种类型的数据,包括文档、图片、音频、视频等。光盘的容量相对较小,通常用于存储小规模的数据。
仓库存储:大数据似乎难以管理,就像一个永无休止统计数据的复杂的漩涡。因此,将信息精简到单一的公司位置似乎是明智的,这是一个仓库,其中所有的数据和服务器都可以被充分地规划指定。然而,有些报告指出了反对这种方法的论据,指出即使是最大的存储中心,大数据的指数增长也不再能维持。
本地存储:如硬盘、固态驱动器(SSD)、USB闪存驱动器等。 云端存储:利用远程服务器进行数据存储,例如云服务、网络硬盘等。 分布式存储:采用多个存储节点同时进行数据存储的分布式系统,如区块链等。
HBase:基于HDFS,支持海量数据读写(尤其是写),支持上亿行、上百万列的,面向列的分布式NoSql数据库。天然分布式,主从架构,不支持事务,不支持二级索引,不支持sql。
数据存储方式有硬盘存储、固态硬盘、内存、云存储、数据库存储。硬盘存储:硬盘是计算机中最常见的一种存储设备,由一个或多个磁盘盘片和磁盘驱动器组成,是一种机械式存储设备。硬盘存储用于永久存储计算机系统中的数据,通常用于存储操作系统、应用程序和用户数据。