HDFS目录配额(quota)不足导致写文件失败

本文分享自天翼云开发者社区《HDFS目录配额(quota)不足导致写文件失败》,作者:5****m问题背景与现象给某目录设置quota后,往目录中写文件失败,出现如下问题“The DiskSpace quota of /tmp/tquota2 is exceeded”。[omm@189-39-150-115 client]$ hdfs dfs -put switchuser.py  /tmp/tquota2put: The DiskSpace quota of /tmp/tquota2 is e...阅读全文

java技术圈 2025-06-26 18:36:50 Tianyiyun

HBase Sync功能导致HBase入库性能下降

本文分享自天翼云开发者社区《HBase Sync功能导致HBase入库性能下降》,作者:5****m问题背景与现象HBase入库慢,regionserver日志中大量打印slow sync。原因分析1.对比正常写入时间段监控,检查HBase服务整体CPU、内存以及NameNode RPC在异常时间段是否增加;2.检查regionserver日志中slow sync打印是否集中在个别RegionServer节点;3.如果slow sync集中于个别regionserver节点,检查该节点是否存在热...阅读全文

java技术圈 2025-06-26 18:13:32 Tianyiyun

在使用Flink CDC时,源表没有主键如何处理

本文分享自天翼云开发者社区《在使用Flink CDC时,源表没有主键如何处理》,作者:5****m在Flink CDC中,当源表没有主键时,需要设置scan.incremental.snapshot.chunk.key-column参数来指定一个或多个列作为切分数据流的关键列。这些列用于在获取增量快照时切割数据流,帮助Flink CDC高效并行处理数据。如果没有自然主键,通常会选择一个或几个具有高基数且经常更新的列作为替代,以便更均匀地分布数据和有效地捕捉变更。如果表确实没有合适的列可以用作切分...阅读全文

java技术圈 2025-06-26 17:08:04 Tianyiyun

20w奖金池!魔乐社区国产算力应用创新大赛正式启程

本文分享自魔乐社区公众号《​​20w奖金池!魔乐社区国产算力应用创新大赛正式启程​​》当国产算力崛起成为 AI 发展新引擎,你是否渴望用创新方案解锁无限可能?魔乐社区国产算力应用创新大赛重磅来袭!聚焦国产算力前沿,无论你是开发者、研究者,还是技术爱好者,都能在这里一展身手。现在报名参赛,就有机会瓜分 20 万元丰厚奖金池,更能让你的创意获得行业关注,加速国产算力应用落地!大赛报名入口:​​https://modelers.cn/race/453​​img 小部件阅读全文

java技术圈 2025-06-25 17:48:36 Tianyiyun

用户标签属性流程处理方法

本文分享自天翼云开发者社区《用户标签属性流程处理方法》,作者:石泽涛用户画像是一种勾画目标用户、联系用户诉求与设计方向的有效工具,目前用户画像算法普遍存在的问题是数据源较少、数据特征不明显、处理效率低下、分析维度单薄。在分布式计算的架构基础上,我们搭载主框架程序,打造5维8类DPI过滤、打标签算法,攻克处理效率低下、耗费资源大的难题,高效、准确的实现用户上网行为进行深度解析,实现每天百TB数据量级处理入库解析,同时大大加强了用户特征的提取与归类,体现数据价值,依靠精细化运营实现对用户的覆盖,以更...阅读全文

java技术圈 2025-06-23 16:22:10 Tianyiyun

构建多维打标签算法

本文分享自天翼云开发者社区《构建多维打标签算法》,作者:石泽涛针对各类主题,通过对用户DPI访问数据深度解析,体现数据价值,丰富云产品形态与应用范围;建立行业的标签,能够对用户访问各类APP和网站的行为和内容有深入细致的刻画,为主题运营工作提供必要的数据支撑。在获客成本越来越高的当下,围绕用户的价值创造,守住活跃用户的基本盘,促进用户一层一层向更具价值的用户转化。构建多维打标签算法规则库搭建根据爬虫工具与抓包工具提取网站及App特征信息,提取正则表达式形成各类规则库数据分发与标签收集将规则库加载...阅读全文

java技术圈 2025-06-23 15:36:33 Tianyiyun

基于运营商数据的用户关系模型建立示例

本文分享自天翼云开发者社区《基于运营商数据的用户关系模型建立示例》,作者:石泽涛从社交的角度来看,一种典型的用户关系网络即交往圈。一个用户的交往圈定义为“与用户在一段时间内存在双向联系的所有个体”。根据不同社会群体性质,交往圈又可以分为家庭圈、工作圈、密友圈等。基于运营商数据,可识别的用户之间的关联主要为:通信关联、地域关联及身份关联。通信关联指通信的频繁性,地域关联指地理位置上的相近性,身份关联则指用户号码之间的主副关系。以通信关联指数定义举例通过分析计费详单通话数据,进行正负样本训练,根据训...阅读全文

java技术圈 2025-06-20 17:58:45 Tianyiyun

商场商圈潜客挖掘模型

本文分享自天翼云开发者社区《商场商圈潜客挖掘模型》,作者:石泽涛超速数据清洗算法:1)针对同一用户,顺次选取两条记录(第n条、第n+1条),根据第n条记录的停留时间TSn(两停留点时间差),以及与第n+1条记录的距离Dn(两记录点经纬度距离),计算第n条记录的穿越速度(Dn/TSn),如果该速度大于350km/h,则第n条记录的坐标修改为第n-1条记录的坐标,否则不作修改;2) 如果为首条记录不合格,则继续计算第2条记录的速度,第2条记录与第3条记录的距离D2,直到找到速度合格的记录,将其坐标赋...阅读全文

java技术圈 2025-06-20 16:56:26 Tianyiyun

基于Casbin的ABAC授权模型设计与开发踩坑实录

本文分享自天翼云开发者社区《基于Casbin的ABAC授权模型设计与开发踩坑实录》,作者:upclose 最近因项⽬需求,需要寻求⼀个好⽤强⼤的权限管理⽅案。天翼云安全实验室经过仔细调研,最终选择了ABAC(Attribute Based Access Control,基于标签的访问控制)作为授权模型的基础,在具体实现上则青睐于后起之秀Casbin。 ABAC被称为“下一代”授权模型,具有更细粒度的权限设定、更灵活的权限管理等优势。 Casbin是一个开源的权限管理框架,其主要优势有:...阅读全文

java技术圈 2025-06-20 16:28:05 Tianyiyun

Python全栈开发线下班(王道)

Python全栈开发线下班(王道) 获课:yinheit.xyz/5167/ Python全栈开发线下特训营:前后端深度整合与工程化实战体系 Python全栈开发已成为企业数字化转型的核心技术能力之一,掌握前后端协同开发与工程化落地的全栈工程师在就业市场上具有显著优势。本特训营旨在通过系统化的线下实战训练,帮助开发者突破技术边界,实现从单一技能到全栈能力的跃迁。 一、全栈开发核心技术体系 1.1 前后端技术融合架构 现代Python全栈开发已形成成熟的技术融合...阅读全文

java技术圈 2025-06-20 15:13:35 hxclkjblkx