Adam： 结合了AdaGrad和Momentum的点，同时考虑了梯度的一阶矩和二阶矩。 基于模型性能的策略： ReduceLROnPlateau： 当验证集上的性能不再提升时，降低学习率。 基于数据分布的策略： 自适应分布式SGD： 根据每个客户端的数据分布来调整学习率。
在联邦学习中的应用与挑战
联邦Adam： 将Adam优化器应用于联邦学习，以适应非IID数据分布。 个性化联邦学习： 为每个客户端定制学习率，以满足其特定的数据分布。 联邦学习中的学习率调度： 在联邦学习框架下，设计适合的学习率调度策略， 。
挑战： 通信开销： 自适应学习率
调整需要额外的通信开销来传递学习率信息。 隐私保护： 学习率信息可能泄露部分模型信息，需要采取相应的隐私保护措施。 超参数调优： 自适应学习率调整策略本身也涉及超参数的设置，需要进行仔细的调优。
寻找适合不同场景的策略 实验对
比： 数据集： 选择具有不同数据分布 Telegram 号码数据库 的教育数据集进行实验。 基线模型： 使用一个简单的基线模型（如逻辑回归或神经网络）进行实验。 学习率调整策略： 比较恒定学习率、指数衰减、余弦退火、Adam、以及提出的自适应学习率调整策略。
评价指标： 使用准确率、F1-score、AUC等
指标来评估模型性能。 超参数 免费电子邮件搜索：查找正确的联系人 调优： 对于每个学习率调整策略，需要 验。
仔细调整超参数，以获得最
佳性能。 可视化分析： 通过可视化学习率的变化和模型的损失函数，深入理解学习过程。 结合先验知识： 根据具体任务和数据集的特点，选择合适的学习率调整策略。
