使用Apache Spark时如何处理数据库的背压？

Backpressure实际上指的是设置最大接收率。实际上它并不像你想象的那样工作。

这里应该做的实际上是阅读结束。

现在在经典的JDBC使用中，jdbc连接器具有s 的fetchSize属性PreparedStatement。所以基本上你可以考虑使用以下答案中的内容来配置fetchSize：

Spark JDBC fetchsize选项

Statement.setFetchSize（nSize）方法在SQL Server JDBC驱动程序中的作用是什么？
这可能无法解决您的所有性能问题RDBMS。

您必须知道的是，与在单个工作程序上运行的基本jdbc读取器相比，使用整数列或使用谓词序列对数据进行分区时，以分布式模式加载数据但引入了一些问题。在您的情况下，大量的并发读取可以轻松地限制数据库。

为了解决这个问题，我建议如下：

如果可用，请考虑通过JDBC连接使用专用数据源。
考虑使用专门的或通用的批量导入/导出工具，如Postgres COPY或Apache Sqoop。
请务必了解不同JDBC数据源变体的性能影响，尤其是在使用生产数据库时。
考虑为Spark作业使用单独的副本。