OpenRefine(数据清理工具)

　　OpenRefine提供数据分析整理功能，可以将本地的数据和网络的数据添加到软件整理，可以在软件配置数据解析方式，可以将原始混乱的数据重新解析到json、解析到Excel、解析到PDF、解析到xml等类型的文件，从而解决数据混乱的问题，主要用于处理各种混乱数据，软件在web上运行，您可以加载本地的数据处理，也可以将URL数据导入到软件处理，也支持连接到远程的数据库读取来源内容，让用户可以分析更多类型的数据，新版添加了SQLite导入器，方便加载数据库到软件分析，创建了一个新菜单项，以从对帐列中提取实体标识符，现在可以在自定义表格导出器中引用所有单元格值，如果你需要这款软件就下载吧！

软件功能

　　OpenRefine（以前是Google Refine）是处理杂乱数据的强大工具：清除数据；将其从一种格式转换为另一种格式；并通过网络服务和外部数据进行扩展。

　　1、探索数据

　　OpenRefine可以帮助您轻松浏览大型数据集

　　2、清理和转换数据

　　3、核对并匹配数据

　　OpenRefine可用于通过各种Web服务链接和扩展数据集。一些服务还允许OpenRefine将您清除的数据上传到中央数据库，例如Wikidata。。Wiki上有越来越多的扩展和插件列表 。

　　4、导入各种格式的数据

　　5、在几秒钟内浏览数据集

　　6、应用基本和高级单元转换

　　7、处理包含多个值的单元格

　　8、在数据集之间创建即时链接

　　9、使用正则表达式轻松过滤和分区数据

　　10、在全文字段上使用命名实体提取以自动识别主题

　　11、使用通用优化表达语言执行高级数据操作

软件特色

　　OpenRefine是用于处理混乱数据的强大工具。使用它可以提高数据的一致性，将其链接到Wikidata等数据注册表，用其他来源的数据进行扩充，将其转换为其他工具可以使用的不同格式，并将其贡献回原始来源。OpenRefine不是Web服务，而是在您自己的计算机上运行的桌面应用程序，因此您可以私密地处理敏感数据。

　　OpenRefine最初由Metaweb Technologies，Inc .开发为“ Freebase Gridworks” 。Metaweb于2010年7月被Google收购 ，他们将产品重命名为Google Refine。2012年10月，该产品在过渡到社区支持的项目后被重命名为OpenRefine。

　　从计算机上的一个或多个文件导入数据

　　从网络上的一个或多个链接导入数据

　　通过粘贴剪贴板中的文本导入数据

　　从数据库（使用SQL）导入数据，以及

　　从Google云端硬盘导入一个或多个表格。

　　从这些来源，您可以加载以下任何文件格式：

　　逗号分隔值（CSV）或文本分隔值（TSV）

　　Text files

　　Fixed-width columns

　　JSON

　　XML

　　OpenDocument spreadsheet (ODS)

　　Excel spreadsheet (XLS or XLSX)

　　PC-Axis (PX)

　　MARC

　　RDF data (JSON-LD, N3, N-Triples, Turtle, RDF/XML)

　　Wikitext

使用说明

　　1、打开OpenRefine会自动分析电脑的数据

　　2、如图所示，这里是分析界面，分析完毕会打开网页界面

　　3、通过导入数据创建项目。我可以导入哪些数据文件？

　　支持TSV，CSV，* SV，Excel（.xls和.xlsx），JSON，XML，RDF as XML和Google Data文档。可以使用OpenRefine扩展添加对其他格式的支持。

　　4、选择本地的文件处理，将你需要整理的文件添加到软件

　　5、如图所示，直接从本地加载需要整理的文件，可以添加多种资源

　　6、支持网络数据整理，可以输入一个或多个指向要下载的数据的网址（URL）：

　　7、也可以将你复制的数据添加到软件整理，从剪贴板粘贴数据：

　　8、提示数据库加载功能，可以在软件分析远程数据的数据

　　9、支持通过URL导入公共的Google Spreadsheet：

　　10、提示上传资源过程，等待软件将您的数据加载到分析界面

　　11、处理界面如图所示，可以勾选全部文件处理，可以在右上角配置解析选项

　　12、可以建立专案分析文件，等待软件建立专案完毕

更新日志

　　新的功能

　　现在，我们提供了一个带有嵌入式Java运行时引擎的Windows程序包（无需与此Java一起安装）（＃2272）

　　添加了SQLite导入器（＃1951）

　　更多语言，包括孟加拉语，中文（简体），捷克语和旁遮普语，以及对现有语言的更好覆盖，包括宿雾语，英语（英国），法语，德语，匈牙利语，意大利语，日语，日语，韩语，挪威博克马尔语和葡萄牙语（巴西） ）。

　　Clojure更新至1.10（＃2608）

　　现在可以使用ESC键（＃1018）关闭模态对话框

　　cell.errorMessage添加了一个字段，以获取存储在单元格中的错误消息（该消息最初是cell.error在3.4 beta中）（＃525）

　　可配置用于Google表格和Google云端硬盘集成的Google OAuth凭据（＃2383）

　　创建了一个新菜单项，以从对帐列中提取实体标识符（＃1975）

　　现在可以在自定义表格导出器中引用所有单元格值（＃1869）

　　在CSV / TSV导入器中添加了一个选项，以去除单元格值中的空格（＃791）

　　Google表格和Google Drive导出已添加到“导出”主菜单（＃2453）

　　该cross函数现在支持输入的任何值（而不仅仅是单元格），并且不再局限于调用它的列（＃1950）

　　该cross函数现在适用于任何类型的单元格值（＃2461）

　　现在，可以maxlag通过wikibase.upload.maxLag在首选项中设置一些整数来配置Wikidata扩展使用的值（在3.4 beta中，它是wikibase:upload:maxLag，后来被重命名以匹配其他首选项的命名约定）（＃2304）

　　可以将构面最小化（＃2553）

　　Excel XLSX导出列限制从256列增加到16K列（＃2600）

　　添加了用于导入的字符编码检测（＃486）

　　Bug修复

　　解决了影响表达式历史记录，保存的对账服务以及Windows上带有多国字符的首选项的数据损坏问题（＃2543，＃2544，＃2627）

　　Mac软件包现在再次签名。

　　解决了将多个表导入单个项目时的数据丢失问题（＃1792）

　　使用数据库扩展名加载SQL数据是固定的（＃2281）

　　Google表格导出器的许多问题已得到解决（＃2760，＃2306，＃2785，＃2786）

　　在Chrome中使用相同的空白标签不再阻止两次导出（＃1664）

　　QuickStatement导出器支持同一条语句（＃2320）上的多个引用

　　当从任何地址侦听时，OpenRefine会在本地URL而不是0.0.0.0上打开浏览器（＃2336）

　　现在可以调整键值列化对话框的模式对话框的大小，从而更容易使用长列名（＃898）

　　文本过滤器更新过滤后的行之前的延迟已增加（＃2112）

　　刻面值的TSV导出现在使用不可编辑的文本区域（＃2374）

　　Google表格导入器接受范围更广的URL格式（＃2380）

　　修复了JSON和XML导入器配置中的复选框和标签之间的错误链接（＃2388，＃2393）

　　XML导入器配置UI中的无限循环已修复（＃2402）

　　对帐配置面板正确考虑了列复选框（＃2230）

　　修正了JSON / XML导入器中的修饰字符串（＃2409）

　　Google工作表导入器中的工作表选择已修复（＃2307）

　　Chrome的Wikidata编辑摘要自动完成功能已修复（＃1778）

　　在URL字段中按“ Enter”以从URL创建项目正确提交URL（＃2437）

　　菜单项中翻译的溢出已修复（＃2454，＃974）

　　通过提取URL的“添加”列可正确提取gzip压缩的响应（＃2031）

　　改进了JSON导入器中的错误处理（＃2403）

　　./refine脚本中内存管理的错误处理已得到改善（＃388）

　　将鼠标指针悬停在Wikidata模式中的可拖动元素时，此鼠标指针已修复（＃2484）

　　修复了从URL下载XML文件时从其MIME类型中检测到XML文件的问题（＃2420）

　　修复了一个错误，该错误阻止用户由于2010年4月8日Wikidata方面的更改而登录Wikidata（＃2526）

　　名称列toString或其他Javascript对象方法不再显示为折叠状态（＃2451）

　　在Wikidata登录名中按Enter键并编辑摘要表单将提交相应的对话框（＃2459）

　　在编辑单元格的值时正确填充了其数据类型（＃2424）

　　固定用于Excel导出的MIME类型（＃2595）

　　该typeGREL函数返回boolean的布尔值（＃2150）

　　首选项页面以英语以外的其他语言正确显示（＃2765）

　　固定基本多语言平面（BMP）之外的多国字符导出（＃1197）

　　删除了消息和代码中对Freebase的引用（＃2029，＃1973，＃2345）

　　在对帐期间正确遵循重定向（＃2906）

　　解决了无法编辑Wikidata模式的竞争条件（＃2803）

　　对于开发人员

　　现在可以用refine-dev.ini代替来配置本地开发设置refine.ini。（＃2480）

　　现在可以分别打包Windows和Linux发行版（＃2477）

　　启用对翻译的正确复数支持[尚未在所有地方使用]（＃2700）