本文根据一些文档中的网络调优建议，以及本人在日常运维中积累的一些经验，提出了在多个方面对Linux的网络进行优化的一些建议，或许能够进一步的改善Linux的网络吞吐与并发性能。 一、Linux内核调优 为了让系统能够支持更大的并发，优化linux内核是重中之重，通过对Linux内核中有关网络的一些参数的修改，能够整体的提升网络性能。 打开文件 /etc/sysctl.conf，增加以下设置 运行 sysctl -p 即可生效。 说明： /etc/sysctl.conf 可设置的选项很多，其它选项可以根据自…
行转列聚合 一、开始之前 在进行操作之前，你需要知道以下的几个函数： 1、CONCAT(string A/col, string B/col…)： 返回输入字符串连接后的结果，支持任意个输入字符串。 2、CONCAT_WS(separator, str1, str2,...)： 它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间…
默认情况下，Hive的元数据是存储到Derby中的，这是Apache的一个纯Java编写的小巧数据库，类似于Sqlite。但是这样就会出现一个情况：Derby是单例的，当你在一个终端打开了hive时，在另外一个终端打开hive命令行会报错。所以使用MySQL来存储元数据能够解决这个问题，并且也更方便迁移和备份。 MySQL的安装与配置 1. 安装 Mysql-Community-Server 下载Mysql的RPM包：https://dev.mysql.com/downloads/repo/yum/ ,上传到机器中…
Title : Apache-Hive Author: Titan Start Time: 2020.07.26 1. 什么是Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 也就是说，Hive提供了一种类SQL的HQL语言，方便你进行编写一些数据处理的东西，最终将 HQL 转化成 MapReduce 程序 2. Hive的安装记录 Hive的安装相对Hadoop来说…
