Keras 教程:BERT 文本摘要

字幕组双语教学全文:Keras 实例教程:BERT 文字引言

汉语翻译:雷锋字幕组(yhfwww、wiige)

这一演试应用了SQuAD (Stanford question - answer Dataset)。在SQuAD 数据信息集中化,键入由一个难题和一个前后文文章段落构成。总体目标是寻找解答问题的文章段落的跨距。大家应用“精准配对(Exact Match)”指标值来评定我们在这种数据信息上的主要表现,它衡量了精准配对一切一个真正回答的预测分析的百分数。

大家对一个BERT实体模型开展调整,以下所显示:

将前后文和难题做为键入,键入给BERT。 取2个空间向量S和T他们的维数相当于BERT中掩藏情况的维数。 测算每一个token做为回答范畴的开始与结束的概率。一个token做为回答刚开始的概率是由S与在最终一层BERT中表明的token中间的点积得出的,随后是全部token的softmax。token做为最后回答的概率的计算方式与空间向量T相近。 调整BERT,学习培训S和T。

用BERT和函数式API来搭建问与答控制模块

这一回调函数会在每一个epoch后用验证集数据信息测算配对值.

雷锋字幕组是一个由 AI 发烧友构成的汉语翻译精英团队,聚集五百多位青年志愿者的能量,共享全新的国外AI新闻资讯,沟通交流有关人工智能技术技术领域的领域转型与技术革新的看法。

精英团队组员挺大数据专家、数据工程师、图象处理技术工程师、产品运营、内容运营、IT资询人、在学校老师学生;青年志愿者们来源于IBM、AVL、Adobe、阿里巴巴、百度搜索等大型企业,北京大学、清华大学、港大、中国科学院、南卡罗莱纳高校、早稻田大学等全球高等院校研究室。

假如,你是位喜爱共享的AI发烧友。热烈欢迎与雷锋字幕组一起,学习培训新思维,共享发展。

雷锋网(微信公众号:雷锋网)雷锋网

雷锋网著作权文章内容,没经受权严禁转截。详细信息见转截注意事项。