对接了一个kafka,里面的topic使用avro编码,且每个topic的schema都不相同使用schema registry管理。
现在要反序列化key和message,查看了现有的:
1 | <groupId>org.apache.flink</groupId> |
内的ConfluentRegistryAvroDeserializationSchema.
发现无论是forSpecific返回一个特定的类,还是forGeneric返回GenericRecord都需要指定read schame,而registry仅作为write schema使用, 也就是虽然返回的是GenericRecord, 但实际上都是同一个Schema反序列化的, 每个record的格式是一致的.
最近在学习一些hadoop相关的知识,需要在本地运行hdfs和mr相关的代码.
因为开发机使用的是windows,所以会有一些不太方便.
可以在windows下解压hadoop,然后在应用的env中指定HADOOP_HOME为解压路径.
在windows中需要winutils.exe工具,当前网上好心人预编译好的只到3.3.0.
见: https://kontext.tech/article/446/hadoop-330-winutils
此前有个应用用了mysql做数据存储，但实际存储的数据很少就几张表加起来一共几千行，并且一直没有修改的需求，应用内也只是进行查询。
实际上是静态的数据。
因为使用的是云服务商的产品，想着之后就不续费了需要将数据迁移。
有几个选项：
TLDR: 服务器的时区设置有问题。
因为repo所在的笔记本不怎么常用,而且也懒得每个地方维护repo,所以写博客频率就很低.
看了下使用github action比较合适,就写个md,然后deploy一下即可.
这里列一些注意事项吧.
原文来自:https://ryhl.io/blog/async-what-is-blocking/
作者:Alice Ryhl
翻译 by abaabaqua
Rust的async/await特性是通过一种称为协作式调度(cooperative scheduling)的机制来实现的，这对于编写异步Rust代码的人来说有一些重要的影响。
这篇博文的目标读者是异步Rust的新用户。我将使用Tokio运行时作为示例，但这里提出的观点适用于任何异步运行时。
如果你只从这篇文章中记住一件事，那应该是:
异步代码不应该长时间不到达.await。(注:指的是运行中)
五一没有什么事就想把博客捡起来看看.
emmmmm,结果惊奇的发现之前用的域名fairjm.com已经过期被回收了/(ㄒoㄒ)/~~
最近群里又在讨论java的NIO,提到了NIO使用的lt而netty使用JNI在linux和MacOS/BSD中封装了et.
之前对这两个概念笼统了解了下,并没有去查阅额外资料,仅限知道lt在缓冲区还有数据的情况下就会被poll出来,而et则需要有新的请求/事件发生.
这次查阅了点资料,汇总一些数据来简单(毕竟也没有那么深入..)谈谈这两个概念.
