社会商业智能——革命前夕——下一代社会和内容的分析与应用

与其他领域相比，社会和内容监控与分析需求极其旺盛，但供应相当匮乏然而，这种情况已经悄然改变。

然而，社会数据和内容可以为我们提供独特而重要的信息，企业渴望通过这些数据来把握消费者的心理、情感甚至欲望。< br>

因为每个人都知道今天的互联网是每个人自由表达和发布的渠道。内容以几何数量增长，承载了消费者的大量真实表情，并为特定的商业目的混合了各种嘈杂的声音。它充满活力，纷繁复杂。

就像一条正在生长的野生矿脉。虽然它含有黄金，但它总是缺乏挖掘黄金和开采白银的好工具。

不是没有工具，但这些工具只是统计工具。他们并不真正理解社交互动和内容背后的人的意义。它们可以用于“计数”，但远非真正的“分析”

只有理解了“人类语言”，才能进行真正的社会和内容分析。过去，这只是“想象”和“概念”。今天，是真正突破性进化的时候了。

理解自然语言

“中国的互联网分析”提到，在悉尼的《互联网监测与分析:理解与实践》(http://www.chinawebanalytics.cn/sidney's网络口碑监测与分析:理解与实践/)中，社会和舆论内容分析的最大挑战是“中文”

使得机器很难理解自然语言，所以当时我们用了大量的人力，依靠“人脑和手”来解决这个问题。

，但效率和准确性不理想，管理成本很高。所以这不是一个长期的解决方案。

我原以为这种情况会很快改变，但令人失望的是，这种不完美的方法多年后仍不得不使用。

但是这种情况已经悄然改变了。

近年来，自然语言处理(NLP)的一些发展大大提高了机器语言理解的效率，从而从“源头”基本上解决了内容和社会分析的最基本问题

，一方面，由于知识地图的构建，机器理解上下文的情况比过去要好。例如，“我给我的狗喂了一些馒头，但是它们不喜欢。”我给我的狗喂了一些馒头，因为它们快要过期了。"机器应该如何理解这两个“他们”指的是谁？

如果没有知识地图，机器在这两种情况下无法区分它们是馒头还是狗。现在它可以借助知识地图来区分它们(狗只能吃，商品只能过期)除了知识地图，

，另一种新的方法，预训练语言模型，也大大提高了自然语言处理的效果。2015年提出了预先训练的语言模型，但直到最近几年才被证明在许多不同类型的任务中非常有效。语言模型嵌入可以作为目标模型中的一个特征，也可以根据具体任务进行调整，使机器能够在非常有限的数据量下有效地学习。

能够正确解释自然语言，这是社会和内容数据监控和分析的重大突破，意味着严肃的社会和内容分析成为现实

知识地图的构建

已经提到了知识地图，但是单独拿出来太重要了过去对

的社会分析被批评为肤浅和缺乏深度。为了获得深度，必须解决两个问题。第一，内容和内容的关系；二，内容与知识的关系

第一个问题是举个例子。过去，社会上市可以挖掘出这一现象，但不能进行深入分析。例如，我们可以从社会列表中了解到，在公众眼中，某个婴儿奶粉品牌“容易让婴儿生气”，但我们为什么会有这种感觉呢？是由某个“谣言”引起的，还是许多消费者在不相互影响的情况下提出的“投诉”？这需要机器分析和解释内容和内容之间的关系，以解决这个问题。-内容和内容之间的相关性只需要社交和内容分析工具来全面捕获数据，这相对容易解决。第二个问题

必须用知识地图来解决例如，两个不同的消费者抱怨婴儿吃了奶粉后不舒服。一个抱怨“眼睛分泌物增多”，另一个抱怨“大便干燥”这两种表现被消费者认为是“上火”的症状，但在分析中，如果没有知识图谱，机器不会将两者归入同一类别。内容与知识的关系是知识地图的最大价值。它的本质是让机器像人一样“联想”。

在某种程度上，自然语言处理只允许机器“识别单词”，而知识地图可以帮助机器实现理解真正的社交互动和内容分析必须基于知识地图。

知识地图的概念已经提出多年。目前，知识地图的三种核心信息提取算法——属性提取、实体提取和关系提取——已经相对成熟，各行业积累了大量的语言语义分类和结构化数据，进一步提高了知识地图构建的效率和准确性。此外，知识地图中的信息不是静态的，而是需要随着时间的推移而更新的。知识地图中的知识更新过去很麻烦，但现在在技术上有了一些突破，尤其是在当前的知识集成和验证方面，并且手工构建规则的经验积累比过去更好。可以说，今天在中文领域构建知识地图的能力已经有了很大的提高。

“中国互联网分析”就此领域与R&D高级总监史丹福进行了交流。斯坦福向我们展示了AdMaster在这一领域的巨大投资和进步:AdMaster在多种场景的应用中构建了一个知识地图。自2015年以来，AdMaster一直是业界第一家推广社交数据的标记、规范化和人工智能，以实现社交和洞察分析的实时、自动化和智能化的公司。同时，专门建立了知识工程、深度学习和信息检索实验室。在数据清洗、知识提取和知识融合方面做了大量工作，应用能力相当成熟。在不同行业的知识库建设上，行业知识库“与时俱进”的升级，即知识库的研究、推理和快速更新迭代，也可以通过Scopa系统的完整档案和超级研究判断模块来实现。

不仅可以“听”，还可以“看”

。另一件我觉得非常有趣的事情是“社会倾听”这个表达方式似乎有点“过时”

因为内容，尤其是社交内容，不仅仅是文字，还有大量的图片、视频和音频因此，突破社会“倾听”是非常重要的。这是真正的社会监督，一个人不仅可以听到，而且可以理解和理解。

这也必须基于人工智能，尤其是图像识别、语音识别和知识映射技术。在这三者的帮助下，内容和社会分析变得比人工识别更加准确。

是当前常用的方法，它使用图像识别来识别图片或视频中的各种元素，将它们转换成带有权重的标签，并基于知识地图来识别它们更准确的含义或关联

3年以前，这项工作还很困难，识别的准确性和速度都不理想。如今，它发展迅速，并在社会和内容分析中应用了很长时间。

智能以外的技术也在快速创新

速度

将取得突破的第三个社会和内容分析领域是速度

互联网用户在互联网上发出各种各样的声音。所有人都不可能观看它。它们必须被机器抓取和处理。

目前，整个网络的监控仍然非常困难，数据量太大，不切实际，实时性也不好。然而，并非所有工具都是如此。例如，在特定平台(如微博、微信、各种论坛)上，AdMaster的社交商务智能应用程序接口实现的数据对接和处理速度已经可以达到“分钟级”，有些已经是“二级”斯坦福大学的

的速度突破非常重要。过去几年，我个人的经验表明，在处理网络口碑(互联网舆论)数据时，输出经过机器初步处理的数据基本上限于“天”甚至“天”。现在可以看出，这是一个非常大的进步。

从“模糊科学”到BI

的第四个特别重要的创新是社会和内容分析对商业智能的趋势

过去，几乎所有的社会和内容监测和分析服务都必须通过专门的开发和人力服务来实现，根据不同的需求和项目，或者只是以前面提到的数据统计的形式提供非常肤浅的报告和结论。

特殊开发的问题是它不能开箱即用，实现周期与舆论的高实时性要求非常不一致。

和专项项目开发仍很繁重，调整和优化的灵活性仍很差然而，社会互动和内容是不断变化的，经常变化和新的。

特殊开发不易保证质量，非标准化解决方案，没有办法比较质量

不仅如此，在过去，大多数社会和内容监控和分析服务都像模糊科学。你称之为科学，但它给出的结论实际上是非常刻板甚至模糊的。你说它毫无价值，但它确实提供了一些数据和意见。

，但在这一领域从未有过真正严格和通用的数据产品，其速度不及用户行为分析、DMP或企业商业智能，并形成行业公认的标准。

这与近年来社交互动和内容本身的迅猛发展形成鲜明对比。

肯定不会持续太久。

，但对社交互动和内容的监控和分析必须成熟，从“模糊”定制到严格的商务智能形式和灵活的定制解决方案。

商务智能并不新鲜，但它强调数据的严格和可读显示、可扩展和可钻取的数据报告、可自我配置的定制分析能力、特殊分析工具以及与业务场景相对应的模板，这些都是传统的社交和内容监控和分析服务所缺乏的

的可定制性决定了社交和内容分析工具的灵活性——也就是说，产品和功能可以高度定制，而代码根本不需要定制，部署速度和针对性都可以实现。

就像手工作坊一样，不可避免地会被标准化的大规模机器生产所取代，而社会商业智能(Social BI)或内容商业智能(Content BI)肯定会淘汰传统的民意分析模式。

，当然，企业客户对系统定制的需求仍然是真实的。如何平衡定制需求和系统开发成本是解决这一问题的关键。例如，AdMaster解决这个问题的想法是将企业的定制需求分为三个层次:表示层、逻辑层和数据层。在每一层，不仅有标准化的通用方案可供选择，而且还有灵活的定制能力来支持企业的不同需求。

以上:AdMaster社交商务智能系统界面。社会数据分析必须以严格的商业智能的形式呈现，同时实现高度定制的

技术创新。在社会和内容数据分析的应用方面可以取得哪些突破？那你看

的突破和正在被打破的应用

的社会和内容分析应用，给业界的印象一直是帮助企业及时发现舆论中的负面信息，或总结文章发表后能传播多广多长时间。

是在传统的规则驱动和数据跟踪模式下给出的常见解决方案，但显然它不是今天在人工智能的祝福下社会商务智能应该给出的解决方案。

新一代社交商务智能必须为企业提供更全面、更深入的解决方案。

从“关键词触发”到理解消费者的“想法”

“中国互联网分析”认为这是社交商务最有价值和最有能力突破的领域。借助自然语言处理和知识地图，社会互动和内容分析可以更全面地理解和把握消费者“话语”背后的“意义”

是一个有趣的案例。在推出一款新车之前，一家汽车制造商进行了一次大样本的消费者调查，以衡量汽车在消费者心目中的形象。根据调查结果，“高安全性”是汽车消费者投票的一个非常重要的特征。因此，制造商的大量广告强调汽车的安全性。然而，汽车售出后，消费者在网上的声音更加关注汽车的“动力”，汽车的安全性几乎没有被讨论。

因此，营销方向和策略实际上从一开始就误入歧途。但是如果你不做社交网络和内容分析，也许你会一直犯错。

的故事需要知识地图的帮助。除了直接捕捉“强大动力”的语言外，消费者对“涡轮增压”、“倒退”和“轻松超车”的讨论实际上被归类在“动力”的主题下过去，这项工作需要人工阅读和分类。今天的社交商务智能已经能够直接理解消费者语言背后的含义。

不是一个孤立的案例。企业对品牌消费者的感知往往与消费者的真实感知存在显著差异，这使得企业往往误解或忽视消费者真正关心的关键点。

例如，AdMaster的社交商务智能提供的一个例子表明，消费者对汽车“智能”的理解与企业本身的理解有很大不同。企业认为消费者对“智能”的理解侧重于“自动驾驶”，但在分析消费者的真实内容和社会互动后，我们可以看到，“辅助驾驶”而不是“自动驾驶”才是消费者真正关心的“智能”

以上:在消费者对“智力”的认知上，AdMaster的社会商业智能与企业的显著差异

没有什么比直接询问所有消费者的想法更能帮助企业找到自己的市场和品牌定位。显然，社会商业智能应该在这个领域给出答案，没有比这更好的方法了。

发现“微科尔”

第二个值得社会商业智能解决的问题是“微科尔”的发现

我们当然知道哪些名人(如明星或大学顾问)有自己的流量，但他们太贵，他们的影响实际上太广泛。

“微型KOLs”不同。他们是科尔的“小型和微型企业”。他们依靠自己的专长和特点取胜。他们有自己稳定而深入的交流爱好者基础。尽管粉丝的数量并不多，但粉丝群中的吸引力是惊人的。

不能手动找到“微KOL”，但必须依靠人工智能的社会关系图和内容分析来找到那些真正的“话题终结者”和意见领袖

功能已提供给寻求影响力中心的企业。例如，下图中AdMaster捕捉到的基于微博用户的连接实际上包含两个数据关系:第一，所有用户都对“香水”的主题感兴趣；第二，用户之间的相关性提供了谁在这个话题上更有影响力图中较大的图标是KOL，它是这个“香水”社区的核心。

例如，下图中的KOL只有数万名粉丝，但它在香水粉丝中很有影响力。< br>

发现“水军”

与发现“微型KOL”相同。人工智能也能帮助我们快速找到水军。

简而言之，有固定模式的账户(不正常的社会关系、不正常的行为等。)并且通过建立人工规则和机器学习可以快速识别具有特定固定模式的内容。

这不是一个特别困难的要求，新的社交商务智能肯定要有这样的功能。

真实粉丝和真实阅读

社交网络应该在挖掘真实粉丝和真实阅读方面给予大力支持就像“水军”的发现一样，通过机器学习识别僵尸账户也是社会商业智能的工作。

，另一方面，真正的阅读量，尤其是微信文章的真正阅读量，今天一直缺乏更好的解决方案。然而，社会商业智能，作为一个可以每分钟监控社会账户和内容数量的系统，可以通过阅读量的异常增长发现欺骗。

，然而，对更准确地消除错误阅读的需求似乎仍然对社交商务智能提出了挑战，这也是我最期待重大突破的领域。

摘要在“1.0时代”，对

社交和内容数据的监控和分析持续了惊人的时间然而，这种情况今年肯定会发生重大变化。机器学习和人工智能技术已经深入集成到这个领域，形成了许多可以应用到地面的社会和内容数据应用能力。将不可避免地将这些功能转化为产品，并将人工智能和商业智能深度集成到新一代社交和内容数据平台中。

我们认为，更接近人类智力和理解的社会化分析，以及更严格的社会和内容分析(称为社会商务智能)，是未来社会和内容数据分析和应用程序开发的主流。当机器能像人一样读懂人的意思，但它们比人快几亿倍时，这个领域就没有理由不具备难以想象的创新游戏性和巨大的生成潜力。

-大班套餐-