Hadoop 概念 就是一个大数据解决方案。它提供了一套分布式系统基础架构。 核心内容包含 hdfs 和mapreduce。hadoop2.0 以后引入 yarn. hdfs 是提供数据存储的，mapreduce 是方便数据计算的。 hdfs 又对应 namenode 和 datanode. namenode 负责保存元数据的基本信息…

正则表达式 正则表达式1.字符类2. 逻辑运算符3. 预定义字符4. 数量词5. 数据爬取6. 按要求爬取6.1 贪婪爬取6.2 非贪婪爬取 7. 字符串中使用正则表达式的方法8. 分组括号8.1 匹配和捕获分组8.2 引用和后向引用8.3 零宽断言8.4 分组嵌套与递归8.5 忽略大小写8.6 代码示例 正则表…

在使用 Python 进行爬虫时，很有可能因为一些异常行为被封 IP，这主要是因为一些爬虫时产生的异常行为导致的。 在曾经的一次数据爬取的时候，我尝试去爬取Google地图上面的商家联系方式和地址信息做营销，可是很不幸，还只…

5.25题目 (去除break和continue)break和continue 语句遭到质疑的原因是它们的非结构化性。实际上,break和continue 语句总能用结构化的语句取代。请详述如何从程序的一条循环语中去除break语句，并用某种结构化的手段替代。提示:break 语句用于在循环体内离开一个循…

SS2.3 导引型传输媒体 1.三类位非导引型传输媒体 a)双绞线：两根铜线平行会相互干扰，垂直干扰最小，双绞线近似垂直，绞合度越高，可用的数据传输率越高。 i.无屏蔽双绞线UTP（便宜） ii.屏蔽双绞线&a…

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中，最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格，遇到很多很重要的面试题： 问题1：什么是PECS原则？ 说说具体怎么…

在Python 3.5版本后引入的typing模块为Python的静态类型注解提供了支持。这个模块在增强代码可读性和维护性方面提供了帮助。 目录 简介为什么需要 Type hints typing常用类型typing初级语法typing基础语法默认参数及 Optional联合类型 (Union Type)类型别名 (Type Alias)子类型…

写这篇随笔的时候，我已经处于研究生阶段的后期，只剩下一个硕论答辩即可结束研究生生涯。趁有闲暇时间，我希望可以从实习、兼职、论文和求职等几个角度重新整理一下研究生后期的工作和收获，以及对未来工作和生活做出展望。 首先简…