基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
DML 操作，也可以根据消息内容做判 断，按照具体业务需求实现即可 if message_key='insert':document={"topic":topic,"message_value":message_value } result=mongodb_collection.insert_one(document)logger.info(result.inserted_id)elif message_key='update':update_condition={"topic":topic} new_values={"$set":...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
yum-y install chkconfig python bind-utils psmisc libxslt zlib portmap sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl openssl-devel python-psycopg2 MySQL-python postgresql-server libaio autoconf 为了避免冲突，检测是否有 mariadb和 mysql。rpm-qa|grep mariadb rpm-qa|...
- 产品推荐
- 这些文档可能帮助您