Titan EMS - Titan企业员工管理系统 因为很多原因，最近一直比较繁忙，很久没有更新博客了，这个项目花了我五天的时间去完成，可以说是小有收获，很有提升，大有感悟。 前端项目介绍： 前端使用 Boostrap 4 开发 ，符合最新HTML5开发规范，使用开源的后台管理模板 SB Admin 2 广泛使用 JQuery, Ajax, DataTable 等前端技术与框架 后端项目介绍： 一、项目设计 采用MVC架构模型开发，模型-视图-控制器分离，广泛使用Java设计模式中的代理模式、工厂模式、建造者模式等…
本文根据一些文档中的网络调优建议，以及本人在日常运维中积累的一些经验，提出了在多个方面对Linux的网络进行优化的一些建议，或许能够进一步的改善Linux的网络吞吐与并发性能。 一、Linux内核调优 为了让系统能够支持更大的并发，优化linux内核是重中之重，通过对Linux内核中有关网络的一些参数的修改，能够整体的提升网络性能。 打开文件 /etc/sysctl.conf，增加以下设置 运行 sysctl -p 即可生效。 说明： /etc/sysctl.conf 可设置的选项很多，其它选项可以根据自己的环境需…
行转列聚合 一、开始之前 在进行操作之前，你需要知道以下的几个函数： 1、CONCAT(string A/col, string B/col…)： 返回输入字符串连接后的结果，支持任意个输入字符串。 2、CONCAT_WS(separator, str1, str2,...)： 它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间…
默认情况下，Hive的元数据是存储到Derby中的，这是Apache的一个纯Java编写的小巧数据库，类似于Sqlite。但是这样就会出现一个情况：Derby是单例的，当你在一个终端打开了hive时，在另外一个终端打开hive命令行会报错。所以使用MySQL来存储元数据能够解决这个问题，并且也更方便迁移和备份。 MySQL的安装与配置 1. 安装 Mysql-Community-Server 下载Mysql的RPM包：https://dev.mysql.com/downloads/repo/yum/ ,上传到机器中…
Title : Apache-Hive Author: Titan Start Time: 2020.07.26 1. 什么是Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 也就是说，Hive提供了一种类SQL的HQL语言，方便你进行编写一些数据处理的东西，最终将 HQL 转化成 MapReduce 程序 2. Hive的安装记录 Hive的安装相对Hadoop来说…
什么是JWT认证机制 Json Web Token（缩写JWT）是目前最流行的跨域认证解决方案 session登录的认证方案是看，用户从客户端传递用户名和密码登录信息，服务端认证后将信息储存在session中，将session_id放入cookie中，以后访问其他页面，服务器都会带着cookie，服务端会自动从cookie中获取session_id,在从session中获取认证信息。 JWT的解决方案是，将认证信息返回个客户端，储存在客户端，下次访问其他页面，需要从客户端传递认证信息回服务器端。 JWT结构 一个完…
写在前面 本文所使用的系统为 Centos 8 系统，略过了系统的安装部分，使用的Hadoop版本为Hadoop v2.10.0版本。 配置JDK及其环境变量 在安装JDK的过程中，使用的是软件包管理器直接安装的方式，当然你也可以采用编译的方式，这里就不再赘述。 1. 安装 JDK 1.8 使用查看版本的命令，查看是否安装成功 如果你的输出结果与上面的类似，就说明你已经成功安装了JDK 2. 配置 JAVA_HOME 环境变量 Hadoop的启动和一些其他的操作依赖于环境变量，所以你需要先配置JAVA_HOME变量…
TitanCommunity Titan社区（Titan Community），基于SSM （ Spring + SpringMVC + Mybatis）开发的知识问答社区 演示地址：Titan社区 https://community.titan6.cn/（暂停演示） 项目介绍 Titan社区（Titan Community）是我在上个星期学习与研究完 SSM （ Spring + SpringMVC + Mybatis）框架后，用了不到一周的时间开发的一个练手的项目。其主要定位为知识问答社区（类似于知乎、思否等平…
提供一种Spring的IoC容器与Mybatis的整合方式，其中中，Mybatis采用纯注解方式配置，Spring采用XML方式配置。数据库源采用的是C3P0数据库连接池。 1. 在Spring的XML配置文件中添加相关配置 这里采用的是mybatis-spring的MapperScannerConfigurer来实现将DAO对象置入IOC容器中，将会扫描并加入basePackage指定包下的所有DAO接口。 2. DAO接口与Service实现类 DAO简单的实现了一个查询所有信息的功能 UserService实…
介绍 偶然间看到豆瓣电影的TOP250榜单，于是突发奇想写了这个爬虫脚本。将通过爬取豆瓣电影TOP250的榜单列表获取电影详情页的URL，然后再爬取电影详情页URL中的内容，最终获得电影的名称，导演，演员，类别，制片国家/地区，语言，上映日期，片长和剧情简介等信息，经过一系列的处理后输出。 输出结果 最终结果将输出为JSON形式，为当前运行目录下的result.json，形式如下 代码
