在对磁盘分区的大小进行规划时，往往不能确定这个分区要使用的空间的大小。而使用 fdisk、gdisk 等工具对磁盘分区后，每个分区的大小就固定了。如果分区设置的过大，就白白浪费了磁盘空间；如果分区设置的过小，就会导致空间不够用的情况出现。对于分区过小的问题，可以从新划分磁盘的分区，或者通过软连接的方式将此分区的目录链接到另外一个分区。这样虽然能够临时解决问题，但是给管理带来了麻烦。类似的问题可以通过 LVM 来解决。说明：本文的演示环境为 ubuntu 16.04。 LVM 是什么 LVM 是 Logical Volume Manager 的缩写，中文一般翻译为 "逻辑卷管理"，它是 Linux 下对磁盘分区进行管理的一种机制。LVM 是建立在磁盘分区和文件系统之间的一个逻辑层，系统管理员可...阅读全文
1.概述 HBase是一款非关系型、分布式的KV存储数据库。用来存储海量的数据，用于键值对操作。目前HBase是原生是不包含SQL操作，虽然说Apache Phoenix可以用来操作HBase表，但是需要集成对应的Phoenix依赖包到HBase集群中，同时需要编写对应的Schema才能实现SQL操作HBase。 本篇博客，笔者将为大家介绍另一位一种SQL方式来操作HBase，那就是Hive。 2.内容 2.1 使用场景 熟悉大数据的同学应该都知道，Hive是一个分布式的数据仓库，它能够将海量数据，结构化存储到HDFS上，然后通过SQL的方式对这些海量数据进行业务处理。而且，Hive学习成本很低，熟悉SQL的同学，很快就能编写一个Hive应用程序。 我们通过Hive把数据加载到HBase表中...阅读全文
用了就会爱上，爱上就会离不开。本来给C盘留下了足够的空间，而且没有往其中添加其它文件、也没有安装什么应用，为什么它就不知不觉地满了呢？每次打开电脑打开大型软件就会变卡，甚至显示磁盘空间不足。有些软件虽然删除了但有一些安装软件还是会有卸载残留，极难进行清理，又不放心安装某些国产杀毒清理软件进行清理。那么到底是什么在占据着磁盘空间呢？今天要推荐的软件叫做Spacesniffer。Spacesniffer可以帮助我们一目了然知道你电脑有啥东西，藏得再深也逃不过它的眼睛。这是一款磁盘分析软件，不用安装，仅2MB不到。打开它，选择需要扫描的磁盘，单击“start”，之后它会快速地扫描磁盘，界面内跳动的小方块就像黑客在操作你的电脑。 最上方有扫描的进度，当显示“ready”时，扫描结束，可以根据界面上的...阅读全文
author：skatetime：2009/12/09 linux删除文件后没有释放空间 今天发现一台服务器的home空间满了，于是要清空无用的文件，当我删除文件后，发现可用空间没有变化 os：centos4.7 现象： 发现当前磁盘空间使用情况： [root@ticketb ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/sda1 981M 203M 729M 22% /none 16G 0 16G 0% /dev/shm/dev/sda9 2.9G 37M 2.7G 2% /tmp/dev/sda7 4.9G 1.9G 2.7G 42% /usr/dev/sda8 2.9G 145M 2.6G 6% /var/dev/map...阅读全文
婚后痛经，更应该重视！绝大多数女性都有过痛经的经历，有的人说结婚后痛经就会减轻，但是婚后痛经的人依然很多，婚后痛经要注意以下三种疾病。 ...月季舒阅读 27评论 0赞 ...阅读全文
在 Linux 下，我们看到的是文件夹（目录）： 在早期的 UNIX 系统中，各个厂家各自定义了自己的 UNIX 系统文件目录，比较混乱。Linux 面世不久后，对文件目录进行了标准化，于1994年对根文件目录做了统一的规范，推出 FHS ( Filesystem Hierarchy Standard ) 的 Linux 文件系统层次结构标准。FHS 标准规定了 Linux 根目录各文件夹的名称及作用，统一了Linux界命名混乱的局面。 无论何种版本的 Linux 发行版，桌面、应用是 Linux 的外衣，文件组织、目录结构才是Linux的内心。 FHS（英文：Filesystem Hierarchy Standard 中文：文件系统层次结构标准），多数 Linux 版本采用这种文件组织形式...阅读全文
一、前言| ES作为现今最流行的搜索存储库，我们需要定期去清理ES集群的数据以保证集群处在一个最佳负载状态，那么如何去删除这些数据呢，我们今天来介绍一种比较常见的通过Delete By Query的方式去删除索引中的数据。二、Delete By Query API 介绍 怎么理解这个API呢？实际是批量删除数据的意思 功能：根据特定的查询条件对ES相关索引中某些特定的文档进行批量删除。POST index_name/_delete_by_query { "query": { //这些是自定义查询条件，根据查询条件去批量删除 "match": {//请求体跟Search API是一样的 "message": "some message" } } }复制Delete By Query 删除原理：...阅读全文
速度优化edit 如果想要获得唯一值的数目， 通常 需要查询整个数据集合（或几乎所有数据）。 所有基于所有数据的操作都必须迅速，原因是显然的。 HyperLogLog 的速度已经很快了，它只是简单的对数据做哈希以及一些位操作。 但如果速度对我们至关重要，可以做进一步的优化。 因为 HLL 只需要字段内容的哈希值，我们可以在索引时就预先计算好。 就能在查询时跳过哈希计算然后将哈希值从 fielddata 直接加载出来。 预先计算哈希值只对内容很长或者基数很高的字段有用，计算这些字段的哈希值的消耗在查询时是无法忽略的。 尽管数值字段的哈希计算是非常快速的，存储它们的原始值通常需要同样（或更少）的内存空间。这对低基数的字符串字段同样适用，Elasticsearch 的内部优化能够保证每个唯一值只计...阅读全文
一、前言哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据，哈希表就是your Mr.RightB树存储引擎是B树的持久化实现，不仅支持单条记录的增、删、读、改操作，还支持顺序扫描（B+树的叶子节点之间的指针），对应的存储系统就是关系数据库（Mysql等）。LSM树（Log-Structured Merge Tree）存储引擎和B树存储引擎一样，同样支持增、删、读、改、顺序扫描操作。而且通过批量存储技术规避磁盘随机写入问题。当然凡事有利有弊，LSM树和B+树相比，LSM树牺牲了部分读性能，用来大幅提...阅读全文
kubelet节点压力驱逐 kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。 基于kubernets v1.17.4 1.什么时候发生驱逐 kubelet结合以下数据项来做出驱逐决定： （1）驱逐信号； （2）驱逐策略； （3）驱逐监测间隔； 1.1 驱逐信号 节点上的memory、nodefs、pid等资源都有驱逐信号，kubelet通过将驱逐信号与驱逐策略进行比较来做出驱逐决定； 驱逐信号列举如下： （1）memory.available； （2）nodefs.available...阅读全文
如何优雅高效的在海量数据存储与查找 对于这个问题我们首先可能会想到直接去存储这40亿个数据，当然这确实是一种方法。但是我们是否考虑过这样做的后果呢？如果你的解决方案就是上面的那种方法的话，那你可能真的没有考虑过后果。所以你有必要继续往下读。 我们先不管后果是什么，现在我来带大家看一组数据，假设这40亿个数据是4个字节的unsigned int 型的数据。那嘛现在 我们要存储这40亿个数据就需要的空间为：(40 * 10^8) * 4byte = 14.9GB (注意这里所换算机制：1GB=2^10Mb=2^20kb=2^30byte,下面涉及到的计算也是采用这种方式)所以大家看见了后果就是占用了这么大的内存空间，一般计算机上的内存根本就放不下嘛，所以这还怎么干活。。。 该怎么办呢？ 那么我们...阅读全文
在日常开发中我们经常会遇到需要同时处理多个操作的情况，比如在购物时，我们需要同时完成支付和更新库存两个操作。这时，如果其中一个操作失败了，我们就需要进行回滚，以保证数据的一致性。 那么，如何在MySQL中实现这样的功能呢？答案就是——事务。下面我们就来介绍一下MySQL事务是什么？它是如何使用的？ ## 一、什么是事务？ ### 事务定义 - 事务是一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务是一个最小的工作单元)。 - 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成。 - 事务只和DML语句有关，或者说DML语句才有事务。这个和业务逻辑有关，业务逻辑不同，DML语句的个数不同。 ### 事务是什么？ ...阅读全文
基于C++从0到1手写Linux高性能网络编程框架（2023新课） 分享课程——基于C++从0到1手写Linux高性能网络编程框架，2023年新课，附源码+电子书，课程包更新。 Linux在服务器领域有着强大的优势，网络编程便是其中一项重要组成部分，运用合理的技巧可以构建出具有高效率、可靠性和强大可拓展性的网络框架，提高服务器功能和效率。 Linux网络编程技巧可以细分为多个方面，首先网络编程的开始必不可少的是编写好的Socket程序。Socket可以说是传输层协议的核心，它充当网络应用程序之间的接口，能够连接本地服务器与外部服务器，实现进程间的通信接口。在Linux环境下，使用C语言需要引入头文件，调用系统函数socket()来生成socket描述符: #include int socke...阅读全文
 Flutter组件采用现代响应式框架构建，这是从React中获得的灵感，中心思想是用组件(widget)构建你的UI。 组件描述了在给定其当前配置和状态时他们显示的样子。当组件状态改变，组件会重构它的描述(description)，Flutter 会对比之前的描述， 以确定底层渲染树从当前状态转换到下一个状态所需要的最小更改。 1、环境搭建 Flutter 的环境搭建十分省心，特别对应 Android 开发者而言，只是在 Android Stuido 上安装插件，并到 GitHub Clone Flutter 项目到本地之...阅读全文
linux中iptables删除一条规则的方法：1、打开linux终端；2、在终端命令行中输入“iptables -L -n”命令查看出当前的防火墙规则；3、输入“iptables -L -n --line-number”命令查看到每个规则chain的序列号；4、根据序列号删除指定一条防火墙则即可。linux中iptables如何删除一条规则具体操作步骤：1、在linux系统桌面中使用快捷键【Ctrl+Alt+T】打开linux终端命令行模式。2、在linux终端命令行中输入以下命令查看出当前的防火墙规则。iptables -L -n复制3、输入以下命令查看到每个规则chain的序列号。iptables -L -n --line-number复制4、最后输入以下命令根据序列号删除指定一条防火...阅读全文
在计算机的世界里，Linux操作系统以其强大的功能和灵活性受到了广大程序员和IT爱好者的喜爱。然而，对于初学者来说，Linux的操作命令可能会显得有些复杂和难以理解。 今天，我们就来一起探索一些Linux常用操作命令，让你的计算机操作更加流畅。 ### 一、目录操作 首先带大家了解一下Linux 系统目录： ``` ├── bin -> usr/bin # 用于存放二进制命令 ├── boot # 内核及引导系统程序所在的目录 ├── dev # 所有设备文件的目录（如磁盘、光驱等） ├── etc # 配置文件默认路径、服务启动命令存放目录 ├── home # 用户家目录，root用户为/root ├── lib -> usr/lib # 32位库文件存放目录 ├── lib64 -> ...阅读全文
Mysql设置binlog过期时间并自动删除 问题： Mysql数据库由于业务原因，数据量增长迅速，binlog日志会增加较多，占用大部分磁盘空间。 解决方案： 出于节约空间考虑，可进行删除多余binary日志，并设置定期删除操作。 1、查看binlog过期时间 mysql> show variables like 'expire_logs_days'; 或者 mysql> select @@global.expire_logs_days; +------------------+-------+ | Variable_name | Value | +------------------+-------+ | expire_logs_days | 0 | +-----------------...阅读全文
MYSQL 应该是最流行了 WEB 后端数据库。WEB 开发语言最近发展很快，PHP， Ruby, Python, Java 各有特点，虽然 NOSQL 最近越來越多的被提到，但是相信大部分架构师还是会选择 MYSQL 来做数据存储。MYSQL 如此方便和稳定，以至于我们在开发 WEB 程序的时候很少想到它。即使想到优化也是程序级别的，比如，不要写过于消耗资源的 SQL 语句。但是除此之外，在整个系统上仍然有很多可以优化的地方。1. 选择合适的存储引擎: InnoDB除非你的数据表使用来做只读或者全文检索 (相信现在提到全文检索，没人会用 MYSQL 了)，你应该默认选择 InnoDB 。你自己在测试的时候可能会发现 MyISAM 比 InnoDB 速度快，这是因为： MyISAM 只缓存索...阅读全文
