目录 数据预处理 数据读取 DataFrame结构 数据索引 创建DataFrame Series操作 数据分析 统计分析 pivot数据透视表 groupby操作 常用函数操作 Merge操作 排序操作 缺失值处理 apply自定义函数 时间操作 绘图操作 大数据处理技巧 数值类型转换 属性类型转换…

背景：鉴于使用密码登录访问服务器存在较大安全隐患，因此有必要调整为使用密钥登录。 密钥登录的原理：在服务器生成公钥私钥证书,然后将公钥证书给服务端一份,在登录的时候,客户端带上私钥去服务端验证,服务端使用客户端存储在服务端的公钥进…

什么是 AdventureLog ？ AdventureLog 是一种记录您的旅行并与世界分享的简单方法。您可以在日志中添加照片、笔记等。跟踪您访问过的国家、探索去过的地区和地方。您还可以查看您的旅行统计数据和里程碑。AdventureLog 旨在成为您终极的旅行伴侣，帮助您记…

Kafka是一个成熟的消息队列，一直以性能高著称，它之所以能够实现高吞吐量和低延迟，主要是由于以下几个方面的优化。我试着从发送端、存储端以及消费端分别介绍一下。 消息发送 批量发送：Kafka通过将多个消息打包成一个批次&#…

前言 在之前的文章《一条执行24s的SQL竟产生7小时数据延时，数据库高可用做了个寂寞》中，我们描述了一个问题现象：一条在主库执行24秒的SQL语句，却导致了主从延时长达7小时。文章发布后，引发了小伙伴的热烈讨论&#x…

PS：持续更新... 简介 Unity3D的特色之一就是具有良好的跨平台特性，随着移动设备的普及，移动端游戏的开发成为了多数游戏开发者所必备的技能之一。而Android作为最为普及的移动端系统，学习如何开发Android游戏是很有必要的。 环境…

一.SQL,Hive和MapReduce的关系 用户在hive上编写sql语句，hive把sql语句转为mapreduce程序去执行 二.Hive的架构映射流程 三.MetaStore元数据管理三种模式 metastore服务配置有3种： 内嵌模式、本地模式、远程模式（推荐） 内嵌模式…

什么是责任链模式 责任链模式（Chain of Responsibility Pattern）是一种行为型设计模式，它通过将请求沿着一条处理链传递，直到某个处理器处理该请求或链的末端被到达，从而避免请求的发送者和接收者之间的耦合。 关键要…