≥软件X 12（2020）100624原始软件出版物‘‘photosearcher’’ package in R: An accessible and reproducible methodforNathan Foxa，b，Tom Augustb，Francesca Mancinib，Katherine E.帕克斯，费利克斯·艾根布罗德，James M.布洛克a，b，路易斯萨特c，劳拉J。格雷厄姆d，ea南安普敦大学地理和环境学院，University Road，Southampton，SO 17 1BJ，United Kingdomb生态水文中心，Maclean Building，Crowmarsh Gifford，Wallingford OX10 8BB，United KingdomcAgroecology and Environment，Agroscope，Reckenholzstrasse 191，8046 Zurich，Switzerlandd联合王国伯明翰大学地理、地球和环境科学学院e奥地利国际应用系统分析研究所生态系统服务和管理方案ar t i cl e i nf o文章历史记录：收到2020年收到修订版2020年8月5日接受2020年保留字：生物数据集文化生态系统服务FlickrR package社交数据集社交媒体a b st ra ct社交媒体网站Flickr包含丰富的空间和时间元数据，可在环境研究中发挥重要作用，包括文化生态系统服务和生态评估。然而，Flickr的使用可能受到Flickr应用程序规划接口（API）的可访问性问题的限制，这限制了结果和搜索。在这里，我们将介绍photoconductor，一个旨在克服这些挑战的R软件包。我们提供的例子如何将PhotoMap用作从Flickr API访问大型时空数据集©2020作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.0此代码版本使用的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2020_143Code Ocean compute capsuleNA法律代码许可证GPL-3使用git的代码版本控制系统软件代码语言、工具和服务使用R编译要求、操作环境&依赖性R（3.5.0）xml2，httpr，dxmlr，glue，clisocols，crayon，sf.用于编译文档：rmarkdown，LaTeX。如果可用，链接到开发人员文档/手册https://docs.ropensci.org/photosearcher/问题支持电子邮件nf2g13@soton.ac.uk1. 动机和意义1.1. 科学动机生物多样性和社会科学数据集是许多环境研究领域的关键，从了解物种*通讯作者：南安普敦大学地理与环境学院，University Road，Southampton，SO17 1BJ，United Kingdom。电子邮件地址：nf2g13@soton.ac.uk（N. Fox）。https://doi.org/10.1016/j.softx.2020.100624指导文化生态系统服务的管理。Flickr、Facebook、Twitter和Instagram等社交媒体网站以及维基百科等其他在线网站正在被视为不仅是文化生态系统服务评估，而且越来越多地用于生态问题的潜在数据来源[1首先，由于高昂的财务成本，时间密集型方法和后勤困难，即使在很小的空间尺度上，生物数据集也是有限的或不完整的[5，6]。通过克服广泛的大规模调查的许多限制，社交媒体网站可以提供大型时空数据集[7，8]。此外，作为自然生态系统，2352-7110/©2020作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxN. 福克斯，T。 August，F.Mancini等人软件X 12（2020）1006242由于人类过度开发的风险，了解访问率可以用于积极的保护[9]。在这里，社交媒体网站提供的社会和人口统计数据可以代表实际的访问率[2]，这为了解人类如何与自然互动以及如何最好地为保护和生态旅游相关的管理选择提供信息提供了机会。在 这 里 ， 我 们 开 发 了 一 种 方 法 来 访 问 数 据 从 Flickr（flickr.com），一个图像和视频托管网站的大型数据库的照片伴随着可访问的元数据。Flickr作为一个数据源具有优势，因为它拥有活跃的用户群每天有多达2500万的新上传[10]，并且通常比其他社交媒体网站拥有更广泛的用户群体[11]。此外，照片的元数据可以通过调用应用程序规划接口（API）来获得，API此元数据通常包含地理参考位置以及拍摄图像的时间和日期，并且有可能用作回答生态问题的主要数据源。Flickr已经成功地用于文化服务研究，例如野生动物观察[12]，娱乐活动[13]，景观美学质量[14]以及保护区[8]和国家公园[15]的访问率。此外，Flickr作为生物多样性数据的来源具有巨大的潜力[16]。例如，它已被证明是交叉验证全球生物多样性信息设施记录[17]和评估生态位[18]的成功工具。有人建议Flickr不仅可以用来探索文化生态系统服务，还可以大规模地探索更广泛的生态问题。然而，由于某些限制，Flickr作为更广泛研究的数据来源的潜力尚未得到充分探索。1.2. 当前限制Flickr在使用它作为数据源时需要解决特定的限制。例如，搜索给定空间位置的照片被限制为通过边界框或Flickr特定位置标识符进行搜索。这意味着研究人员增加了额外的数据操作步骤，以便下载特定搜索边界的图像元数据[20]。此外，通过Flickr API搜索照片，每个搜索标准只能返回4 000个唯一结果，限制了在空间或时间上进行大规模搜索时轻松访问数据的能力。对于超过4，000个结果的搜索，API将显示为获取所有结果的元数据。然而，Flickr API只返回前4，000张图像的数据，之后的数据页面是重复的。第一个4000。这意味着用户可以获得看起来超过4,000个结果，但最终只有前4,000个唯一图像的Meta数据重复多次。一些作者将每个查询的返回数限制在4,000以内，以解决这个问题[21]。这种解决方法可能会忽略所有可用的数据，并引入偏见，例如排除Flickr的早期或新用户，或缺失时间模式。此外，API的使用目前具有有限的可及性和再现性。首先，API只能可以通过一系列编程语言访问，包括Python，R和Java。要访问数据集，作者必须精通编程语言。 在R [22]中，有一组通用包允许通过API收集数据。然而，想要使用这些软件包的研究人员需要对Flickr API以及调用它所需的大量R软件包有广泛的了解。其次，作者很少提供完整的方法或代码，限制了复制研究的能力。增加Flickr作为一个资源的使用率由于数据的复杂性，需要一种应用程序，使API调用更具可重复性，更容易被所有人访问。1.3. 相关工作使用R包调用Flickr API提高了使用这些数据的研究的可重复性，并 使 用 户 能 够 控 制 他 们 搜 索 的 内 容 。 现 有 的 R 包 cran.r-project.org/web/packages/FlickrAPI/其他工具，如自然资本项目投资回收工具（https：//naturalcapitalproject. stanford.edu/）也被开发来查询Flickr API。然而，FlickrAPI包仅提供用于获取单个已知图像的信息的函数，并且IVEST工具仅返回区域的所有图像。这些工具不提供基于关键字或位置等标准的搜索功能。因此，这限制了这些工具的功能，生态研究，这往往需要空间明确的搜索关键字的基础上，如目标物种。此外，无论是FlickrAPI包还是INVEST工具都没有为用户提供下载原始图像或返回有关Flickr用户的人口统计数据的功能。2. 软件描述2.1. 软件构架为了克服使用Flickr API的挑战，我们开发了photoplayer R包（github.com/ropensci/photoplayer），旨在促进对Flickr API的可重复请求。这个包中的函数调用Flickr API，并以可访问的格式返回原始照片及其附加元数据，同时克服了当前对API的较大空间和时间请求的限制。2.2. 软件功能PhotoMap软件包提供了一种可复制的方式，通过搜索查询访问地理标记的照片，以及提供对一系列生态分析有用的数据集的其他几个功能photo_search函数允许用户定义一组搜索条件，然后根据Flickr数据库进行查询。然后返回包含与搜索标准匹配的照片的元数据的数据帧为了使Flickr能够在不同的学科中使用，photo_search参数文本允许通过关键字定义搜索。图片搜索将只返回标题、描述或标签中包含关键字的照片。用户还可以限制搜索，只在照片的标签中找到关键字。除了关键字之外，其他搜索变量包括拍摄照片的最小和最大日期以及搜索位置，搜索位置以边界框、空间层或Flickr特定位置的形式提供（在地球上的标识符- woeid参见：flickr.com/places/info/24865675）。优化搜索参数的能力允许更集中的方法来使用Flickr该软件包还提供了额外的功能，用于下载图像，获取用户信息和评估相关标签。3. 说明性实例3.1. 休闲文化生态系统服务photo_search函数返回大量的空间、时间和纹理元数据。在这里，我们展示了这些数据的应用程序，通过评估休闲文化生态系统服务，通过搜索在美国本土徒步旅行的照片N. 福克斯，T。 August，F.Mancini等人软件X 12（2020）1006243===-===-==Fig. 1. 2015年至2020年标题描述或标签中包含hiking一词的Flickr照片（点按州着色）。(For参考文献的解释如欲在此图例中填上颜色，请参阅本文的网页版本然后，我们使用user_info函数的搜索结果来获取每个Flickr用户的社交信息。通用代码如下（可复制版本见SI。1）：area_photos<-photo_search（mindate_take'' 2015-01-01“，2 0 1 9- 01 -01social_data-user_info（user_id area_photos$owner）photo_search函数在61分钟内返回了160，923张2015年至2020年在美国徒步旅行的照片（图1）。为了返回如此大量照片的元数据，对Flickr API的最低必要调用次数将是644（每次搜索250张照片）。因此，photo_search函数每分钟至少调用API 10.55次，返回大约2，637张照片的元数据（注意，为了最大限度地减少错误，photo_search函数的调用次数超过了最小调用次数）。与photo_search函数一样，user_info通常会在短时间内返回在这里，user_info函数只花了不到24分钟就返回了6,514个人的信息，大约每分钟271个用户通常，要获取用户的信息，您必须为每个人重新调用API，但是，user_info函数允许同时搜索多个用户，返回所有可用的社交数据，因此，user_info函数提供了一种获取大型社交数据集的有效方法。城市数据集的潜在用途包括网络分析，以跟踪旅行路线，以及了解文化生态系统服务供需保护区管理人员能够迅速评估游客从何处出发，从而为游客管理计划提供信息。社会数据集还可以与生态数据集结合，用于研究，如了解人 类 与 野 生 动 物 的家 乡 信 息 可 以 通 过 使 用 tmap R 包（www.example.com tmap/）中的geocode_OSM函数等函数对其位置进行地理编码来绘制cran.r-project.org/web/packages/（图2）。 2）的情况。3.2. 物种的时空分布为了演示使用photoSearch包获取大型生态数据集的易用性，我们使用photo_search函数查找包含许多物种的通用名称或拉丁名称的图像元数据（表1）。Flickr元数据可以包含完整的日期和时间数据，允许调查时间分布，如迁移模式，昼夜周期和花卉物候。Flickr可能最适合大型魅力物种，这些物种很容易通过图二. 2015-2020年美国徒步旅行者的地理编码家乡。表1使用的搜索词、结果数量、搜索结果所用的时间，以及所 需 的API调用数 量。物种文本搜索返回结果时间仓鸮-Tyto alba通用名17，436 10.14分钟拉丁名3，529 1.12分钟红狐- 狐狸 通用名25，22514.14分钟拉丁名7，793 3.14分钟棕熊（英语：Brownbear）-Ursus arctos通用名21，555 10.40分钟拉丁名5，170 1.53分钟像鸟一样的人[16]。下面的代码概述了所使用的基本搜索（对于可复制的文档，请参见SI。①的人。species_name<-photo_search（mindate_take'' 2000- 01-01 ''，maxdate_taken<“”2020-01-01“”，maxdate _ uploaded“”2020-01-01“”，文本物种通用名或拉丁名>，has _ geo TRUE）photo_search函数能够在短时间内返回大型数据集，即在14分钟内为红狐返回25，225个全球唯一的地理标记数据点这些N. 福克斯，T。 August，F.Mancini等人软件X 12（2020）1006244=图3.第三章。谷 仓 猫 头 鹰 的 Fl i c k r 照 片 的 空间分布。结果重申，通常该方法不会导致异常长的搜索时间。此外，结果表明，大型空间和时间搜索将需要大量API调用，例如，对仓鸮的全球研究将需要70次API调用，对棕熊的搜索将需要87次。由于has_geo TRUE，返回的Meta数据包含纬度和经度信息，在这里我们绘制了带有物种名称标记的照片的分布（图1）。 3）。用户应该意识到，基于Flickr照片的物种分布可能会有错误。首先，Flickr用户可能会误认物种。为了克服错误图像的问题，用户应该正确定义他们的搜索标准，即。使用拉丁文名称，或使用其已知分布的shapefile，或者用户可以使用分类技术来确认哪些照片具有肯定的视线。其次，一些分布可能会受到游客景点的影响，如动物园和博物馆。这些错误点可以使用CoordinateCleanerR软件包（cran.r-project.org/web/packages/CoordinateCleaner/index.html ） 删除。此外，时间元数据可用于评估物种随时间的变化（图4）。在这里，我们证明了棕熊的目击事件每月都有变化，在已知的冬眠期间发生的目击事件较少这种时间元数据可以与空间数据相结合，以评估迁移模式，或与照片内容（可通过download_images功能访问）相结合，以评估动物行为或植物物候。4. 影响PhotoData提供了一种更容易访问和重现的访问Flickr API的方法，并克服了阻止研究人员获得数据集的限制。通过在R环境中创建光电子学，所有研究人员都可以免费使用它。此外，通过将代码整合到用户友好的函数中，photoplayer包将Flickr数据集的可访问性扩展到非数据科学家。这些简单的功能还允许研究人员分享他们的方法，透明和可复制的方式。然而，我们注意到，由于人们可以添加新的上传内容，编辑元数据或删除其对于图像，在两个不同的场合搜索相同的标准可能会返回不同数量的结果。photo_search函数通过提供参数来限制搜索（按上传日期），有助于最大限度地减少重复搜索之间的任何更改。这一点-结合分享的能力，函数调用中使用的参数或完整的可再现文档（SI. 1) – makes这套照片资料使研究人员能够获得所有可用的数据为了克服每个查询4,000个结果的API限制，photos_search要求用户提供拍摄照片的最小和最大搜索日期如果与用户定义的标准匹配的照片数量但是，如果照片的数量大于4，000，则按时间顺序返回前4，000张照片的元数据。然后，该函数提取拍摄这些图像的最大日期，并将其用作min- date_taken参数来执行新的搜索。该函数不假设新搜索包含少于4，000个图像，因此检查新搜索是否包含超过4，000个结果。通过这种方式，包将继续动态地将初始搜索拆分为新的搜索，直到它从初始搜索中返回所有可用的唯一图像。唯一一次可能不会返回所有数据的情况是，在给定的一秒钟内有超过4，000张图像。由于此过程是自动化的，这意味着用户不必手动进行额外的调用来测试哪个日期范围将返回少于4，000个结果。通过使用自动分割搜索的方法，photo_search功能为用户提供了时间和成本效益高的数据收集方法。此外，与其他软件（如INVEST工具）不同，photo_search函数返回每张照片的完整可用元数据。这种元数据可以通过帮助过滤结果来克服社交媒体数据的一些局限性，从而对新的研究非常有用。例如，通过返回Flickr导出的空间准确度测量，photoconductor包的用户可以根据空间参考的准确度快速过滤返回的结果。此外，匿名用户ID允许用户计算访问指标，如我们还提供了一个选项，允许提供shapefile来搜索特定区域。photo_search函数自动将提供的shapefile转换为边界框，然后将其发送到Flickr API以搜索照片。然后，该函数仅从原始shapefile中提取并返回响应。在新的生态评估中，也设计了光生物学中可用的其他功能例如，通过返回上传图像的用户的ID，可以使用由函数user_info返回的公开可用数据进行额外的分析。此外，download_images函数允许用户自己下载图像，这些图像可以用于其他分析或验证。返回的图像可以通过人工或机器学习技术进行分类，以回答一系列生态问题，包括生态系统服务的分布[19]和识别植物物种[23]。植物物种数据集[23]来源于photo_search函数的输出。5. 结论R软件包photodetry提供了一种易于访问和可复制的方法，用于从Flickr访问大型数据集使用照片包所需的简单技能将增加非数据科学家使用Flickr数据的机会。通过应对与以下方面有关的挑战和限制，N. 福克斯，T。 August，F.Mancini等人软件X 12（2020）1006245见图4。 Flickr上棕熊照片的时间分布。(For为了解释该附图图例中对颜色的引用，读者可以参考这篇文章的WEB版本API访问照片为API调用的标准化方法提供了基础。PhotoData包提供了一种快速而廉价的方法来收集大量数据，这里介绍的方法演示了该包如何帮助提供广泛的生物和社会数据。我们希望该软件包能够使未来的研究建立在目前Flickr在文化生态系统服务研究中的使用基础上，同时方便用户回答更广泛的生态系统服务和生态问题CRediT作者贡献声明内森·福克斯：概念化，方法论，软件，形式分析，写作-原始草稿。汤姆·奥古斯特：概念化，方法论，软件，写作-评论编辑。Francesca Mancini：概念化，方法论，软件，写作-评论编辑。凯瑟琳·E公园：概念化，方法论，软件，写作评论&编辑，超透视，资金获取. 菲利克斯·艾根布罗德：概念化，方法论，软件，写作评论编辑，超透视. James M.概念化，方法论，软件，写作评论&编辑，监督，资金获取. 路易斯萨特：概念化，方法论，软件，写作-评论编辑。劳拉·格雷厄姆：概念化，方法论，软件，写作-评论编辑，监督.竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认这项工作得到了自然环境研究委员会[授权号NE/L002531/1]和联合王国生态和水文中心[授权号NEC 06895]的支持。引用[1] 李丽，顾德兆，徐斌。空间、时间和社会经济模式使用Twitter和Flickr。CartogrGeogrInfSci2013;40（2）：61-77.http://dx.doi.org/10.1080/15230406.2013.777139网站。[2] Wood SA，Guerry AD，Silver JM，Lacayo M.利用社交媒体量化基于自然的旅游和娱乐。Sci Rep 2013;3. http://dx.doi.org/10的网站。1038/srep02976。[3]放大图片作者：J. J.众包全球定位系统信息对娱乐生态系统服务建模的好处。PLoSOne2018;13（10）：1-23.http://dx.doi.org/10.1371/journal.pone.0202645网站。[4] Mittermeier JC，Roll U，Matthews TJ，Grenyer R.万物的季节：维基百科使用中的物候印记及其与保护的相关性。PLOS Biol 2019;17（3）：e3000146。http://dx.doi.org/10.1371/journal的网站。pbio.3000146。[5]作者：Hjort J，Heikkinen RK，Luoto M.包括明确的措施，地球多样性改善生物 多样性模 型在北方 景观。 生物多 样性保护2012;21 （13 ）：3487-506.http://dx.doi.org/10.1007/s10531-012-0376-1网站。[6]Wetzel FT，Bingham HC，Groom Q，et al. Unlocking biodiversity data：确定欧洲生物多样性观测数据的优先次序并填补这方面的空白。生物保护2018;221 （ 2017 ）： 78-85 。http://dx.doi.org/10.1016/j 的网 站。biocon.2017.12.024网站。[7]van Zanten B，Van Berkel DB，Meentemeyer RKT，Smith JW，TieskensKF，Verburg PH. Continental-scale quantification of landscape values usingsocial media data. Proc Natl Acad Sci 2016;113（46）：12974-9. http://dx.doi的网站。org/10.1073/pnas.1614158113。[8][10]李洪志，李洪志.利用社会大数据量化发展中国家保护区的自然旅游。TourManag 2019;72 （ 2018 ） ： 249-56. http://dx.doi.org/10.1016/j.tourman 的 网站。2018.12.005。[9]Hadwen BWL，Hill W，Pickering CM.受到威胁的图标：为什么监测游客及其对保护区的生态影响很重要。 Ecol Manag Restor 2007;8（3）：177-81.http://dx.doi.org/10.1111/j.1442-8903.2007.00364.x。[10]丁 X ， 范 H. 探 索 flickr 照 片 的 分 布 模 式 。 Int J Geo-Inf 2019;8 （ 9 ） ： 418.http://dx.doi.org/10.3390/ijgi8090418网站。[11] Oteros-rozas E，Martín-lópez B，Fagerholm N，Bieling C，Plieninger T.使用社交媒体照片探索文化生态系统服务和景观功能之间的关系在五个欧洲网站。EcolIndic2018;94：74-86.http://dx.doi.org/10.1016/j.ecolind.2017.02.009网站。[12]放大图片作者：Lusseau D.量化野生动物观察者的兴趣，以调查自然区域的娱乐和保护价值之间的重叠。J Appl Ecol 2019;56：387-97. http://dx.doi.org/10的网站。1111/1365-2664.13274。[13] Graham LJ，Eigenbrod F.在英国户外休闲司机的规模依赖2019年6月，《人民日报》，第1卷，第406-16页。http://dx.doi.org/10.1002/www.example.com[14]Figueroa-alfaro RW，Tang Z.通过在Panoramio和Flickr上绘制社交媒体数据中的地理标记照片，评估文化生态系统服务的美学价值。J Environ PlanManag2017;60（2）：266-81.http://dx.doi.org/10.1080/09640568.2016.1151772网站。[15]Tenkanen H，Di Minin E，Heikinheimo V，et al. Instagram ，Flickr，orTwitter：Assessing the usability of social media data for visitor monitoringinprotectedareas.SciRep2017;7（1）：1-11。http://dx.doi.org/10.1038/s41598-017-18007-4.[16] 巴夫五世生态信息学从社交网站发现和开发初级生物多样性数据：一种新方法。EcolInform2014;24：194-9.http://dx.doi.org/10.1016/j.ecoinf.2014.08.008网站。[17] Wittich HC，Seel M，Wäldchen J，Rzanny M，Mäder P.推荐植物分类群 以 支 持 现 场 物 种 鉴 定 。 BMCBioinformatics2018;19 ：190.http://dx.doi.org/10.1186/s12859-018-2201-7网站。N. 福克斯，T。 August，F.Mancini等人软件X 12（2020）1006246[18]Peña Aguilera P ， Burguillo-Madrid L ， Barve V ， Aragon P ， Jimenez-Valverde A.伊比利亚金蛛物种的生态位分离。J Arachnol 2019;47：37-44.http://dx.doi.org/10的网站。1636/0161-8202-47.1.37。[19] Richards DR，Tunçer B.使用图像识别从社交媒体照片中自动评估EcosystServ 2018;31：318-25. http://dx.doi.org/10.1016/j.ecoser.2017.09.004网站。[20] Lee H，Seo B，Koellner T，Lautenbach S.文化生态系统服务制图2. 0 -来自 未 标 记 的 众 包 图 像 的 潜 力 和 缺 点 。 Ecol Indic 2019;95 ： 505-15.http://dx.doi.org/10.1016/j.ecolind的网站。2018.08.035。[21]van Zanten BT Van ， Berkel DB Van ， Meentemeyer RK ， Smith JW ，Tieskens KF.使用社交媒体数据对景观价值进行大陆尺度量化。Proc NatlAcad Sci USA 2016;113（46）：12974网址：//dx.doi.org/10.1073/pnas.1614158113网站。[22]R核心团队R：统计计算的语言和环境。奥地利维也纳：R Foundation forStatistical Computing; 2019，URLhttps：//www.R-project.org/网站。[23]August T ， Affouard A ， Bystriakova N ， et al. AI validated plantobservations from social media ： Flickr images from central London 2011-2019（version 1.1）. Zenodo 2019. http://dx.doi.org/10.5281/zenodo.3514685网站。
