失效链接处理 |
基于Hadoop的网络流量分析系统的研究与应用 PDF 下载
本站整理下载:
相关截图:
主要内容:
大 数 据 , 字 义 上 理解 , 就 是 大量 的 数 据 。 随 着 网 络 信 息 化 时 代 的 日 益 普 遍 ,
大 数 据 在 经 济 、 政 治 、 文 化 等 领 域 以 及 军 事 、 金融 、 通 讯等行 业 己 经 越 来 越 流 行
, 。 一 个 数 据爆 炸 的 时 代 正 在 来 临 。 大 数 据 提 供给 了 我 们预测 能 力 : 以 往我 们
通 常 凭借 经 验 和 直 觉 做 出 决 策 , 而 现 在 , 我 们 可 以 通 过分 析 海 量 数 据 做 出 更精 准
的 决 策 。 事实上 , 如 今 , 各 个领域 尤其 是通信行 业 都 已 离 不 开 “ 数 据 ” 这 个 资 源 ,
比 如 在互联 网 的 日 常 应 用 过 程 中 , 任何 用 户 网 络 行 为 都 可 以 看成 是 数 据 ( 如 搜 索
的 关 键 字 , 查 阅 的 相关 资 料 。 拥有大 量 的 数 据不是 根 本 , 重 点 是 可 以 分析 数 据
并 从 中 提 取 有 用 的 信 息 , 深刻 理 解 需 求 、 高 效 分 析 信 息 , 否 则 再 多 的 海 量 数 据 也
如 同 虚 设 , 失 去 了 它 的 意 义 。
更 多 的 数 据 胜过更聪 明 的 算法 , “ ’ ’ 】 , 早
期 , 数 据 是获 取 信 息 的 瓶 颈 , 我 们通 常 需 要 设计非 常 聪 明 的 算法 从 极少 的 信息 中
挖 掘 出 精 准 的 信 息 。 而 现在数 据 不再 是 获 取 信 息 的 瓶 颈 , 在 大 数 据 时 代 , 如何 存
储 、 快速处 理 和 分析 海 量 数 据 比 聪 明 的 算 法 更 为 重 要 , 也 更 可 以 得 到 有 用 的 信 息 。
于 年 月 发布 的 最 新 研 宄 报 “ 的 题 目 为
报 告 中 指 出 , 直
到 下 一 个 十 年 , 整个宇 宙 的 数 据 每 年 都会递 增 到 年 , 可 达 到
字 节 。 增 加 的 数 据不 仅 包 含 人 们 或 者 企 业 在 网 上 所 做 的 一 切 而 带 来
的 数 据 增 加 , 还 包 括 所 有 东 西 ( 比 如 智 能 手 机 ) 连 入 互 联 网 所 带 来 的 信 息 , 这
给 全球 的 人 们 和 企 业都带 来 了 前 所 未有 的 机 会 。 为 了 在数 据 竞 争 中 占 据 先机 ,
组 织 需 要关注 以 下 技 术 , 包 括 : 虚 拟 化 的 数 据 中 心 、 无 缝 的 公有 和 私 有 云 计 算 ,
下 一 代 分 析 , 新 存 储 管 理 技 术 , 新 数据访 问 工 具 和处 理 , 自 动 标 注 , 以 及处理 实
时 数 据 的 能 力 。 部 门 应 帮 助 他 们 的 企 业变 为 数 据驱 动 和 软 件 驱 动 的 。 除 此 之
夕 卜 , 李 国 杰 在他 的 文 章 中 也 提 到 , 一 个 数 据 的 规模 和 运 用 数 据 的 能 力 将 成 为 国 家
的 综 合 国 力 的 重 要 组成部 分 】 。 有 效 分 析这些 海 量 数据 的 关 键 点 是要从 “
’ ’ 中 找 到 比 其 他数据更 有 价 值 的 数 据 , 即 ” 。 包 含 个
基本特 性 , 方 便 获 取 , 实 时 , 可 以 追 踪到 人 、 组 织 或 者 顾 客 , 可 转换数 据 形式 ,
多 种 属 性 交 叉 。
北 京 邮 电 大 学 博 士 学 位 论 文
对 于 移 动 互 联 网 , 在 其 高 速 发 展 的 同 时 , 所 暴 露 出 来 的 问 题 也 日 益 突 出 。 一
方 面 , 不 断 增加 的用 户 数 量和 层 出 不 穷 的 新 兴 业 务 , 使 得移 动 互 联 网 流 量 数 据 激
增 , 网 络 拥 塞 情 况 日 益 频 繁 , 对 网 络 服 务 质 量 提 出 了 更 高 的 要 求 。 另 一 方 面 , 由
于 移动 互 联 网 流 量 自 身 的 复 杂 性 以 及 移 动 互联 网 的 技 术 独特性 , 人 们 对移 动 网 络
的 流 量特 征 、 用 户 上 网 行 为 特 征 、 新 兴 业 务 的 流量 特 征等 都缺 乏 理 解 和 精 确 描 述
的 问 题 日 益 突 出 , 严重 影 响 了 移 动 互联 网 的 发展 和 网 络 资 源 的 有效 利 用 。 无 所 不
在 的 移 动 设 备每 分 每 秒 都在 产 生 数 据 , 数 以 亿计 用 户 的 互 联 网 服 务 时 时 刻 刻 都 在
产 生 巨 量 的 交 互 。 伴 随 着 网 络融合 的 深 入 , 移 动 互 联 网 业 务 迅 猛 增 长 , 需 要 处 理
的 数 据呈现 出 半 结 构化 非结构 化 、 海 量 级 、 增 长快 、 突 发 性 强 等 特 点 , 业务流
量 有 着 显 著 的 大 数 据 特征 。 思 科 于 年 月 发 布 的 白 皮 书 中 , 预 计到
年 , 每 月 的 移 动 数 据 流量 会 超过 艾 字 节 。
目 前 各种 应 用 数 据 规模 急 剧 增 加 , 传 统计算 面 临 着 严 重挑 战 。 中 国 移 动 一 个
省 电 话 通 联 纪 录 ( 数 据 每 月 可 达 , 而 整 个 中 国 移 动 每 月 则 需 要收
集 和 处 理 高 达 数 据 ; 百 度存储 着 数 百 的 数 据 , 每天 需 要 处理 左
右 的 数 据 ; 而 淘 宝 存储 了 的 交 易 数 据 , 每 天 新 增 的 数 据 达 到 。 如
此 庞 大 的 数 据量 , 使得 传 统 的 关 系 型 数 据库 难 以 对 其 进 行 存储 和 处 理 。 急剧 增 长
的 数 据 , 迫 切 需 要寻求 新 的 处 理 技 术 手 段 。 为 了 解 决 以 上 问 题 , 高 效 的 存 储 、 处
理 和 分析 海 量 移 动 互联 网 数 据 , 云 平 台 成为最有 效 的 解 决 方 案
|