Spark中的闭包引用和广播变量

博主头像 闭包引用 概念 所有编程语言都有闭包的概念，闭包就是在一个函数中引用了函数外的变量。 Spark中，普通的变量是在Driver程序中创建的，RDD的计算是在分布式集群中的task程序上进行的。因此，当分布式算子的函数引用了外部的变量时，Driver会把该变量序列化后通过网络发送给每一个task（只针 ...

SpringBoot3.1.5对应新版本SpringCloud开发(1)-Eureka注册中心

博主头像 服务的提供者和消费者 服务之间可以通过Spring提供的RestTemplate来进行http请求去请求另一个Springboot的项目，这就叫做服务间的远程调用。 当一个服务通过远程调用去调用另一个服务时，被调用的服务就叫做服务的提供者，调用服务的服务就叫做服务的消费者。 一个服务可以既是服务的提 ...

详解csrf（跨站请求伪造）

博主头像 1.什么是csrf (csrf攻击原理)? 用户正常访问A网站,A网站设置cookie被用户浏览器保存 用户不关闭浏览器,直接访问恶意网站,该恶意网站内隐藏式内嵌了A网站接口的请求链接 触发该请求链接,自动携带浏览器保存的cookie,请求成功。 2.涉及的基础知识 我们先梳理下上面所涉及的一些基础 ...

架构每日一学 1：成为一名架构师，你必须具有“战略意图”

博主头像 本文首发于公众号：腐烂的橘子 前言 最近学习了《郭东白的架构课》，受益良多。作为一名普通程序员，有时候不禁想问公司里的架构师大牛是怎么成长的，为什么他可以是一名架构师，而我们只能在公司里写代码做需求？郭在文章中提出了很多超出以往认知的观点，让我重新审视了架构师这个职业。除此之外，他还系统地提出了一些 ...

C#开源的两款功能强大的录屏神器

博主头像 ScreenToGif ScreenToGif是一款由C#语言开发且开源的操作简单、免费的屏幕录制和GIF动画制作神器。它可以帮助用户捕捉计算机屏幕上的实时动画，并将其保存为高质量的 GIF 图像格式。该工具不仅适用于技术支持、软件演示和教程制作，还可以用于创建有趣的 GIF 图片和动画表情。 Gi ...

Linux进程

博主头像 title: 进程 cover: https://img2.imgtp.com/2024/04/30/ZamtkUJE.jpg tags: - 进程 - linux categories: linux系统编程 程序与进程 程序：是可执行文件，其本质是是一个文件，程序是静态的，同一个程序可以运行多次， ...

Unity 热更--AssetBundle学习笔记 0.8

博主头像 AB包的依赖 接上一小结。 在这里我们新建一个红色材质球，赋值给Cube预制体。此时不对材质球进行AB包分类，再次进行打包。运行脚本，发现红色cube成功的从AB包中加载出来。尽管我们没有将cube所依赖的材质球进行打包分类，但是打包时候unity会自动将包中的物体相关依赖打入包中【图三所示】。对于 ...

程序员天天 CURD，怎么才能成长，职业发展的思考 ？

博主头像 前言 关于程序员成长的话题，我前面写过一篇文章 - 程序员天天CURD，职业生涯怎么发展的思考。 现在回头看，对程序员这个职业发展的认识以及怎么发展还是有一些局限性。有一句话是这么说的：人的成长就是不断认为以前的自己是一个“傻逼”的过程。这句话用词很激烈但成长也许就是如此。人要不断扩大、精进以前的认 ...

WordPress CVE-2022-4230复现分析

博主头像 前言 开始CVE审计之旅 WP Statistics WordPress 插件13.2.9之前的版本不会转义参数，这可能允许经过身份验证的用户执行 SQL 注入攻击。默认情况下，具有管理选项功能 (admin+) 的用户可以使用受影响的功能，但是该插件有一个设置允许低权限用户也可以访问它，其实就是没 ...

Mybatis逆向工程的2种方法，一键高效快速生成Pojo、Mapper、XML，摆脱大量重复开发

博主头像 一、写在开头 最近一直在更新《Java成长计划》这个专栏，主要是Java全流程学习的一个记录，目前已经更新到Java并发多线程部分，后续会继续更新；而今天准备开设一个全新的专栏 《EfficientFarm》。 EfficientFarm：高效农场，期许软件开发工作能够像很多国外的高效农场一般机械化 ...

《软件性能测试、分析与调优实践之路》(第2版)--第7章节选--常见性能问题分析总结

博主头像 1. 性能指标曲线频繁出现大幅度抖动 如图7-5-1所示，TPS和平均响应时间出现频繁的上下抖动。频繁抖动说明系统并不是一直在稳定地运行，中间会有短暂的停顿，就是持续运行了一段时间后，马上会停顿一下，然后又继续运行，持续地这样交替进行，造成了系统的频繁剧烈抖动。 图7-5-1 造成频繁抖动现象的原因 ...

.NET CORE 完美支持AOT 的 ORM SqlSugar 教程

博主头像 1、AOT适合场景 Aot适合工具类型的项目使用，优点禁止反编 ，第一次启动快，业务型项目或者反射多的项目不适合用AOT AOT更新记录: 实实在在经过实践的AOT ORM 5.1.4.117 +支持AOT 5.1.4.123 +支持CodeFirst和异步方法 5.1.4.129-preview1 ...

.Net 8.0 下的新RPC，IceRPC之"请求"生命线意义非凡

博主头像 作者引言 很高兴啊，我们来到了IceRPC之"请求"生命线意义非凡，号称“死亡时间”的追命线，颤抖吧！ "请求"生命线之意义非凡 本文将深入探讨将截止时间纳入RPCs的重要性, 以开发更强大的分布式应用程序。 概述 RPC（远程过程调用）系统中发送请求，通常会带来不确定性：无法保证，何时会收到回复， ...

Linux上OcenBase单机版部署及基本信息查询

OceanBase单机版部署可以通过在线和离线两种方式部署。在线部署可以通过yum源或者apt源部署，直接拉取官方源码即可。实际使用中，大部分环境连不了外网，本文介绍离线方式安装。 下载“OceanBase All in One”离线安装包下载官方地址：https://www.oceanbase.c ...

123···100>